摘要：
Union算子 Count算子 reduce算子 countByValue算子 Join算子 Transformation算子 *************************************************** updataStateByKey算子 窗口滑动 保存算子 阅读全文
摘要：
基本数据源 文件数据源 自定义数据源 企业中如果没有合适的抓取数据的手段,可以通过继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集。 kafka版本的区别 http://spark.apache.org/docs/2.2.0/streaming-kafka-0-1 阅读全文
摘要：
文件名称有错误 看一下路径 阅读全文
摘要：
输出操作指定了对流数据经转化操作得到的数据所要执行的操作(例如把 结果推入外部数据库或输出到屏幕上)。与 RDD 中的惰性求值类似，如果一 个 DStream 及 其 派 生 出 的 DStream 都 没 有 被 执 行 输 出 操 作 ， 那 么 这 些 DStream 就都不会被求值。如果 S 阅读全文
摘要：
map 代码--》集群 nc--》端口 9000 （可以修改） 替换 字 flatmap 切分压平 filter repartition union合并 【local【2】】 当只有两个的时候 只有一个分区 另一个处理数据集 count reduce ************************ 阅读全文
摘要：
linux下出现ping:unknown host www.baidu.com问题时的解决办法——ubuntu下局域网络的配置 如果ping域名的时候出现ping:unknown host xxx.xxx 但是ping IP地址的时候可以通的话 可知是dns服务器没有配置好， 查看一下配置文件/et 阅读全文
摘要：
配置秘钥的时候报错 如下图 是配置不成功的 修改/etc/ssh/ssh_config文件的配置，以后则不会再出现此问题 最后面添加： StrictHostKeyChecking no UserKnownHostsFile /dev/null 在配置一下 就好了 阅读全文
摘要：
因为我的端口写错了 大家注意端口和ip是否写错了 阅读全文