摘要: 初步认识了SparkStreaming,学习了流式数据处理的原理。 阅读全文
posted @ 2021-03-04 18:05 ziyuliu 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 介绍 SparkStreaming在Spark框架中的位置 特点 数据处理流程 核心计算思想 SparkStreaming数据抽象 DStream的本质 对DStream进行操作 DSteam的容错 DSteam的API 阅读全文
posted @ 2021-03-04 18:04 ziyuliu 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 搜狗搜索日志分析 数据网址:http://www.sogou.com/labs/resource/q.php 搜狗实验室提供【用户查询日志(SogouQ)】数据分为三个数据集,大小不一样 迷你版(样例数据, 376KB):http://download.labs.sogou.com/dl/sogou 阅读全文
posted @ 2021-03-04 16:11 ziyuliu 阅读(175) 评论(0) 推荐(0) 编辑