soyosuyang

2017年10月24日

摘要： val s=new A var(a1,a2,a3)=s.return var s2=s.return prinln( s2._1,s2._2,s2._3) 阅读全文

posted @ 2017-10-24 20:34 soyosuyang 阅读(7089) 评论(0) 推荐(0) 编辑

posted @ 2017-10-24 19:50 soyosuyang 阅读(972) 评论(0) 推荐(0) 编辑

TF-IDF

摘要：概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会阅读全文

posted @ 2017-10-24 16:16 soyosuyang 阅读(269) 评论(0) 推荐(0) 编辑

Spark 机器学习------逻辑回归

摘要：结果： + + +| id| text|+ + +| 4| spark i like|| 5|hadoop spark book|| 6| soyo9 soy 88|+ + +StructField(id,IntegerType,false)StructField(text,StringType,t 阅读全文

posted @ 2017-10-24 13:12 soyosuyang 阅读(1432) 评论(0) 推荐(0) 编辑

2017年10月20日

对RDD分区的理解

摘要：举个例子： 667.txt: part-00000 _SUCCESS 668.txt: part-00000 part-00001 part-00002 part-00003 part-00004 part-00005 part-00006 part-00007 _SUCCESS 如果设置.setM 阅读全文

posted @ 2017-10-20 18:18 soyosuyang 阅读(1231) 评论(0) 推荐(0) 编辑

DStream 转换操作------有状态转换操作

摘要：注意：阅读全文

posted @ 2017-10-20 16:57 soyosuyang 阅读(1106) 评论(0) 推荐(0) 编辑

2017年10月19日

Spark2.0 VS Spark 1.* -------SparkSession的区别

摘要：都好使！！ 2.2.0 阅读全文

posted @ 2017-10-19 16:34 soyosuyang 阅读(2505) 评论(0) 推荐(0) 编辑

DStream 转换操作----无状态转换

摘要： DStream转换操作包括无状态转换和有状态转换。无状态转换：每个批次的处理不依赖于之前批次的数据。有状态转换：当前批次的处理需要使用之前批次的数据或者中间结果。有状态转换包括基于滑动窗口的转换和追踪状态变化的转换(updateStateByKey)。 DStream无状态转换操作包括： map 阅读全文

posted @ 2017-10-19 15:34 soyosuyang 阅读(2532) 评论(0) 推荐(1) 编辑

2017年10月18日

IDEA Spark Streaming Flume数据源 --解决无法转化为实际输入数据，及中文乱码(Scala)

摘要：需要三步： 1.shell：往 1234 端口写数据 nc localhost 1234 2.shell：启动flume服务 cd /usr/local2/flume/bin ./flume-ng agent --conf /usr/local2/flume/conf -f /usr/local2 阅读全文

posted @ 2017-10-18 20:13 soyosuyang 阅读(768) 评论(0) 推荐(0) 编辑

Flume Netcat Source

摘要： 1.cd /usr/local2/flume/conf sudo vim netcat.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configu 阅读全文

posted @ 2017-10-18 15:19 soyosuyang 阅读(339) 评论(0) 推荐(0) 编辑

公告