Spark MLlib机器学习（一）——决策树
摘要：决策树模型，适用于分类、回归。 简单地理解决策树呢，就是通过不断地设置新的条件标准对当前的数据进行划分，最后以实现把原始的杂乱的所有数据分类。就像下面这个图，如果输入是一大堆追求一个妹子的汉子，妹子内心里有个筛子，最后菇凉也就决定了和谁约（举栗而已哦，不代表什么～大家...
阅读全文
posted @ 2018-05-18 15:19
随笔分类 - Spark
Spark 计算人员三度关系
摘要：1、一度人脉：双方直接是好友 2、二度人脉：双方有一个以上共同的好友，这时朋友网可以计算出你们有几个共同的好友并且呈现数字给你。你们的关系是： 你->朋友->陌生人 3、三度人脉：即你朋友的朋友的朋友就是这个陌生人。你们的关系是 你->朋友->朋友->陌生人 4、四度...
阅读全文
posted @ 2018-05-17 13:09
Spark 计算人员二度关系
摘要：1、一度人脉：双方直接是好友 2、二度人脉：双方有一个以上共同的好友，这时朋友网可以计算出你们有几个共同的好友并且呈现数字给你。你们的关系是： 你->朋友->陌生人 3、三度人脉：即你朋友的朋友的朋友就是这个陌生人。你们的关系是 你->朋友->朋友->陌生人 4、四度...
阅读全文
posted @ 2018-05-17 11:35
Spark2.0基于广播变量broadcast实现实时数据按天统计
摘要：package com.gm.hive.SparkHive;import java.text.SimpleDateFormat;import java.util.Arrays;import java.util.Collection;import java.util.D...
阅读全文
posted @ 2018-05-08 16:04
Sprak2.0 Streaming消费Kafka数据实时计算及运算结果保存数据库代码示例
摘要：package com.gm.hive.SparkHive;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.util.List;impor...
阅读全文
posted @ 2018-05-07 14:42
Spark2.0 Java实现将Hive运算结果保存到数据库
摘要：package com.gm.hive.SparkHive;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.SaveMode...
阅读全文
posted @ 2018-05-07 11:36
Spark2.0集成Hive操作的相关配置与注意事项
摘要：前言已完成安装Apache Hive，具体安装步骤请参照，Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作补充说明Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方...
阅读全文
posted @ 2018-05-05 13:15
总结可用的大数据分析软件对应版本
摘要：apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sq...
阅读全文
posted @ 2018-05-04 11:20
Spark集成Kafka实时流计算Java案例
摘要：package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api....
阅读全文
posted @ 2018-05-03 16:39
