11 2021 档案

大数据之map
摘要：1.编写map函数，reduce函数 cd /home/hadoopmkdir wccd /home/hadoop/wctouch mapper.py1touch reducer.py 编写两个函数 mapper.py: import sysfor line in sys.stdin: line = 阅读全文
posted @ 2021-11-30 20:12 kyming 阅读(30) 评论(0) 推荐(0) 编辑
大数据之Hadoop
摘要：Hadoop是道格·卡丁（Doug Cutting）创建的，Hadoop起源于开源网络搜索引擎Apache Nutch，后者本身也是Lucene项目的一部分。Nutch项目面世后，面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷歌分布式文件系统，做出了自己的开源系统NDFS分布式文件系 阅读全文
posted @ 2021-11-16 15:11 kyming 阅读(77) 评论(0) 推荐(0) 编辑
大数据--Hbase
摘要：1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳。 2.启动HDFS，启动HBase，进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan 8.多版本实验：修改列族版本数 阅读全文
posted @ 2021-11-12 21:11 kyming 阅读(45) 评论(0) 推荐(0) 编辑
大数据--HDFS
摘要：启动HDFS，启动HBase 停止Hbase，停止HDFS运行 阅读全文
posted @ 2021-11-12 21:03 kyming 阅读(9) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示