Spark大数据分析实训教程

发布者：    布时间：2020-09-10 16:41:34    点击量：

Spark Streming医疗实时审核系统开发

• 项目1 大数据概述
• 任务 1.1 认识大数据
• 任务 1.2 认识hadoop
• 项目2 开发技术概述
• 任务 2.1 认识PyMysql库
• 任务 2.2 认识Json库
• 任务 2.3 认识Flask框架
• 任务 2.4 认识ECharts图表插件
• 项目3 开发环境与工具介绍
• 任务 3.1 认识python与JDK
• 任务 3.2 认识PyCharm集成开发环境
• 任务 3.3 认识MySql数据库
• 任务 3.4 认识hadoop
• 任务 3.5 认识zookeeper
• 任务 3.6 认识kafka
• 任务 3.7 认识spark streming
• 项目4 系统概要设计
• 任务 4.1 系统需求分析和功能设计
• 任务 4.2 系统详细设计
• 任务 4.3 数据库设计
• 项目5 构建开发机开发环境
• 任务 5.1 安装与配置JDK
• 任务 5.2 安装与配置Tomcat
• 任务 5.3 Python Web项目的创建
• 任务 5.4 安装MySql数据库
• 项目6 构建Spark平台环境
• 任务 6.1 安装与配置JDK
• 任务 6.2 安装Mysql数据库
• 任务 6.3 安装Hadoop集群
• 任务 6.4 安装与配置kafka
• 任务 6.5 安装与配置scala
• 任务 6.6 按装与配置spark
• 项目6 数据封装发送模块
• 任务 6.1  Json数据封装
• 任务 7.3  数据发送到kafka
• 任务7 数据审核模块
• 任务 7.2 spark streming数据审核
• 任务 7.3 审核数据持久化
• 任务 7.4 hdfs数据备份
• 任务 7.5 监控spark streming与kafka
• 任务8 可视化模块
• 任务 8.1 构建flask框架下的项目
• 任务 8.2 使用web前端技术实现可视化页面
• 任务 8.2 采用pymysql连接数据库
• 任务 8.3 审核通过人数
• 任务 8.4 审核不通过人数
• 任务 8.5 审核不通过原因与数量
• 任务9 系统部署发布
• 任务 9.1 安装部署nginx
• 任务 9.2 安装Python3.6
• 任务 9 .3安装setuptools
• 任务 9.4 安装pip
• 任务 9.5 安装flask
• 任务 9.6 安装uwsgi
• 任务 9.7 linux中的项目部署

• 项目1 Spark用户人群画像系统概述      
• 任务 1.1 认识大数据
• 任务 1.2 认识hadoop生态    
• 任务 1.3 认识大数据实训平台
• 项目2 开发技术概述
• 任务 2.1 认识linux常用命令
• 任务 2.2 认识Hive数据仓库
• 任务 2.3认识zookeeper
• 任务 2.5 认识phoenix
• 任务 2.6 认识spring框架
• 任务 2.7 认识springMVC框架
• 任务 2.8 认识scala
• 任务 2.9 认识SparkSQL
• 任务 2.10 认识echarts图表插件
• 项目3 开发环境与工具介绍
• 任务 3.1 认识Java与JDK
• 任务 3.2 认识tomcat服务器
• 任务3.3 认识maven项目管理工具
• 任务 3.4 认识IntelliJ IDEA集成开发环境
• 任务 3.5 认识MySql数据库
• 项目4 系统概要设计
• 任务 4.1 系统需求分析和功能设计
• 任务 4.2 系统详细设计
• 任务 4.3 数据库设计
• 项目5 构建开发机开发环境
• 任务 5.1 安装与配置JDK
• 任务 5.2 安装与配置tomcat
• 任务 5.3 安装与配置Intellij IDEA
• 任务 5.4 Maven Web项目的创建
• 项目6 构建hadoop平台环境
• 任务 6.1 安装与配置JDK
• 任务 6.1 安装mysql数据库
• 任务 6.2 安装hadoop集群
• 任务 6.3 安装与配置hive
• 任务 6.5 安装与配置zookeeper
• 任务 6.6安装与配置 hbase
• 任务 6.7 安装与配置 scala
• 任务 6.8 安装与配置Spark
• 任务 6.9 安装与配置Phoenix
• 任务 6.10 环境整合
• 项目7 数据清洗模块
• 任务 7.1 使用MapReduce进行用户信息清洗
• 任务 7.2 使用MapReduce进行订单信息清洗
• 任务 7.3 使用MapReduce进行订单商品信息清洗
• 任务 7.4 使用MapReduce进行用户上网轨迹信息pc端清洗
• 任务 7.5 使用MapReduce进行用户上网轨迹信息app端清洗
• 项目8 数据仓库构建模块
• 任务 8.1 本项目数据仓库设计
• 任务 8.2 数据仓库bdm层
• 任务 8.3 数据仓库fdm层
• 任务 8.4 数据仓库gdm层
• 任务 8.5 数据仓库adm层
• 任务 8.6 构建hbase映射表
• 任务 8.7 构建phoenix映射表
• 项目9 可视化模块
• 任务 9.1 使用web前端技术实现可视化页面
• 任务 9.2 使用JdbcTemplate查询phoenix
• 任务 9.3 使用echarts实现数据可视化
• 项目12 系统部署发布
• 任务12.1 安装部署Tomcat服务器

上一篇：Hadoop大数据应用实训教程

下一篇：综合布线实训||实训1 参观考察智能建筑