Hadoop大数据应用实训教程

发布者：    布时间：2020-09-10 16:39:35    点击量：

Hadoop离线大数据网站点击流日志分析

• 项目1 大数据日志分析系统概述
• 任务 1.1 认识大数据
• 任务 1.2 认识hadoop生态
• 任务 1.3 认识大数据实训平台
• 项目2 开发技术概述
• 任务 2.1 认识spring框架
• 任务 2.2 认识springMVC框架
• 任务 2.3 认识MyBatis框架
• 任务 2.4 认识echarts图表插件
• 任务 2.5 认识linux常用命令
• 项目3 开发环境与工具介绍
• 任务 3.1 认识Java与JDK
• 任务 3.2 认识tomcat服务器
• 任务3.3 认识maven项目管理工具
• 任务 3.4 认识idea集成开发环境
• 任务 3.5 认识MySql数据库
• 任务 3.6 认识Hive数据仓库
• 任务 3.7 认识sqoop数据迁移工具
• 项目4 系统概要设计
• 任务 4.1 系统需求分析和功能设计
• 任务 4.2 系统详细设计
• 任务 4.3 数据库设计
• 项目5 构建开发机开发环境
• 任务 5.1 安装与配置JDK
• 任务 5.2 安装与配置tomcat
• 任务 5.3 安装与配置Intellij IDEA
• 任务 5.4 Java Web项目的创建
• 项目6 构建hadoop平台环境
• 任务 6.1 安装与配置JDK
• 任务 6.1 安装mysql数据库
• 任务 6.2 安装hadoop集群
• 任务 6.3 安装与配置hive
• 任务 6.4 安装与配置sqoop
• 项目7 数据清洗模块
• 任务 7.1 采用hadoop mapreduce进行数据预处理
• 任务 7.1 采用hadoop mapreduce进行数据二次处理
• 任务 7.1 采用hadoop mapreduce进行数据结构化
• 项目8 数据仓库构建模块
• 任务 8.1 本项目数据仓库设计
• 任务 8.2 数据指标分析
• 项目9 数据导出模块
• 任务 9.1 导出结果数据到mysql
• 项目10 网站点击流日志分析结果可视化模块
• 任务 10.1 MyBatis逆向工程
• 任务 10.2 使用web前端技术实现可视化页面
• 任务 10.3 近7天日平均PV量
• 任务 10.4 访客数量变化趋势
• 任务 10.5 每日热门页面top10
• 任务 11.6 使用echarts实现数据可视化
• 项目11 系统部署发布
• 任务11.1 安装部署tomcat服务器
• 任务11.2 Linux中的项目部署

• 项目1 大数据概述
• 任务 1.1 认识大数据
• 任务 1.2 认识hadoop
• 项目2 开发技术概述
• 任务 2.1 认识HttpClient常用编码方式
• 任务 2.2 认识Spring框架
• 任务 2.3 认识SpringMVC框架
• 任务 2.4 认识MyBatis框架
• 任务 2.5 认识Echarts图表插件
• 项目3 开发环境与工具介绍
• 任务 3.1 认识Java与JDK
• 任务 3.2 认识Tomcat服务器
• 任务3.3 认识Maven项目管理工具
• 任务 3.4 认识Idea集成开发环境
• 任务 3.5 认识MySql数据库
• 任务 3.6 认识Hive数据仓库
• 任务 3.7 认识Sqoop数据迁移工具
• 项目4 系统概要设计
• 任务 4.1 系统需求分析和功能设计
• 任务 4.2 系统详细设计
• 任务 4.3 数据库设计
• 项目5 构建开发机开发环境
• 任务 5.1 安装与配置JDK
• 任务 5.2 安装与配置Tomcat
• 任务 5.3 安装与配置Intellij IDEA
• 任务 5.4 Java Web项目的创建
• 项目6 构建hadoop平台环境
• 任务 6.1 安装与配置JDK
• 任务 6.1 安装Mysql数据库
• 任务 6.2 安装Hadoop集群
• 任务 6.3 安装与配置Hive
• 任务 6.4 安装与配置Sqoop
• 项目7 数据爬取模块
• 任务 7.1 使用Http Get爬取云虚拟实训平台数据
• 项目8 数据清洗模块
• 任务 8.1 采用Hadoop Mapreduce进行数据登录日志清洗
• 任务 8.2 采用Hadoop Mapreduce进行数据模块操作日志清洗
• 项目9 数据仓库构建模块
• 任务 9.1 本项目数据仓库设计
• 任务 9.2 数据指标分析
• 项目10 数据导出模块
• 任务 10.1 导出结果数据到Mysql
• 项目11 可视化模块
• 任务 11.1 MyBatis逆向工程
• 任务 10.2 使用web前端技术实现可视化页面
• 任务11.3 登录成功人数
• 任务 11.4 登录失败人数
• 任务 11.5 登录时间
• 任务 11.6 模块操作排行
• 任务 11.7 使用echarts实现数据可视化
• 项目12 系统部署发布
• 任务12.1 安装部署Tomcat服务器
• 任务12.2 Linux中的项目部署

上一篇：JavaWeb应用开发实训教程

下一篇：Spark大数据分析实训教程