随笔分类 -  Hadoop

Spark 计算人员二度关系
摘要:1、一度人脉:双方直接是好友 2、二度人脉:双方有一个以上共同的好友,这时朋友网可以计算出你们有几个共同的好友并且呈现数字给你。你们的关系是: 你->朋友->陌生人 3、三度人脉:即你朋友的朋友的朋友就是这个陌生人。你们的关系是 你->朋友->朋友->陌生人 4、四度... 阅读全文

posted @ 2018-05-17 11:35 疯狂的小萝卜头 阅读(549) 评论(0) 推荐(0) 编辑

Hadoop MapReduce实现人员二度关系运算
摘要:1、一度人脉:双方直接是好友 2、二度人脉:双方有一个以上共同的好友,这时朋友网可以计算出你们有几个共同的好友并且呈现数字给你。你们的关系是: 你->朋友->陌生人 3、三度人脉:即你朋友的朋友的朋友就是这个陌生人。你们的关系是 你->朋友->朋友->陌生人 4、四度... 阅读全文

posted @ 2018-05-17 11:11 疯狂的小萝卜头 阅读(377) 评论(0) 推荐(0) 编辑

总结可用的大数据分析软件对应版本
摘要:apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sq... 阅读全文

posted @ 2018-05-04 11:20 疯狂的小萝卜头 阅读(222) 评论(0) 推荐(0) 编辑

Linux安装Sqoop及基础使用
摘要:下载Sqoop官网地址http://sqoop.apache.org/wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装及配置解压tar -... 阅读全文

posted @ 2018-05-04 11:15 疯狂的小萝卜头 阅读(2707) 评论(0) 推荐(0) 编辑

Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
摘要:前言安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命令)。关于如何安装Hadoop集群请参照:CentOS7搭建Hadoo... 阅读全文

posted @ 2018-05-03 16:32 疯狂的小萝卜头 阅读(803) 评论(0) 推荐(0) 编辑

CentOS7搭建Hadoop2.8.0集群及基础操作与测试
摘要:环境说明示例环境主机名IP角色系统版本数据目录Hadoop版本master192.168.174.200nameNodeCentOS Linux release 7.4.1708 (Core) 2.8.0slave1192.168.129.201dataNodeCen... 阅读全文

posted @ 2018-05-03 14:30 疯狂的小萝卜头 阅读(157) 评论(0) 推荐(0) 编辑

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

点击右上角即可分享
微信分享提示