10 2019 档案
摘要：Hive和HBase的区别 转载自https://blog.csdn.net/vipyeshuai/article/details/50847281 ———————————————— region 变大后，可以进行划分 version是版本号即时间戳 拥有所有版本 zookeeper环境 hbase
阅读全文
摘要：转载：https://www.cnblogs.com/jesse123/p/11733031.html MapReduce计算框架 既然MR是一种计算框架，那么也存在其他的计算框架。 From: [Distributed ML] Yi WANG's talk 一、逻辑流程 Mapping与Shuff
阅读全文
摘要：转载https://www.cnblogs.com/jesse123/p/11736075.html 写在前面 一、大数据全栈 头两节讲完HDFS & MapReduce，这一部分聊一聊它们之间的“人物关系”。 其中也讨论下k8s的学习必要性。 Ref: [Distributed ML] Yi WA
阅读全文
摘要：官方文档：https://hadoop.apache.org/docs/r3.1.2/ hadoop fs -ls / 看根目录下的所有文件 hdfs dfs -put alice.txt 上传 hdfs dfs -get /hdfsPath /localPath 下载到本地 hdfs dfsadm
阅读全文
摘要：Yarn http://192.168.56.2:8088/ http://192.168.56.2:9870 summary Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820 Secondary NN ports: 5009
阅读全文
摘要：在windows模式下本地连接改成 动态分配地址 sudo add-get-repository ppa:gnome-shell-extensions/ppa sudo apt-get update sudo apt-get install gnmoe-shell-extensions 并且在lin
阅读全文
摘要：真分布式配置（vmware environment） 首先安装虚拟机三台 windows下进入 此步骤配置各个虚拟机静态IP ref：https://medium.com/shehuawwal/how-to-assign-a-static-ip-address-to-a-vmware-worksta
阅读全文
摘要：删除jdk 卸载： java -version java javac 判断jdk是否安装(显示版本号等信息，说明已经安装) which java（查看JDK的安装路径） scp不成功 ssh: connect to host 172.20.10.2 port 22: Connection refus
阅读全文
摘要：HDFS Hadoop fs命令、 hadoop fs <> 三节点集群搭建。 本地文件系统与hdfs相隔离。 hdfs dfs <> start-all.sh在哪里？ cd $HADOOP /opt/bigdata/hadop-2.7.3/etc/hadoop slaves文件内容 看一看。 ss
阅读全文
摘要：首先配置初始化虚拟机 https://parthgoelblog.wordpress.com/2016/12/31/how-to-install-hadoop-2-7-3-single-node-cluster-on-ubuntu-16-04/ sudo apt-get install openjd
阅读全文