前言
慕课网《以慕课网日志分析为例 进入大数据 Spark SQL 的世界》笔记。
日志数据内容
1）访问的系统属性：操纵系统、浏览器等
2）访问特征：点击的url、从哪个url跳转过来（referer）、页面上的停留时间
3）访问信息：session_id、访问ip信息（城市信息）等
离线数据处理流程
1）数据采集：
Flume：将日志从一个地方采集到另一个地方，如web日志到HDFS
2）数据清洗：
脏数据：spark、Hive、MapReduce等，清洗完的数据可以放在HDFS中
3）数据处理：
按照需求进行相应业务逻辑的统计和分析，spark、Hive、MapReduce等
4）处理结果入库
结果可以存放到RDBMS、NoSQL
5）数据的可视化展示
通过图像化展示的方式展现出来：饼图、柱状图、地图、折线图
ECharts、HUE、Zeppelin
一般的日志处理方式，需要进行分区，如：d，h，m5（每5min）