摘要：
在idea里面下载bigdata tool插件 使用hdfs客户端 一、下载hadoop安装包，并将文件解压 二、在idea的插件里面找到 bbigdata tool插件并进行安装 如果在idea里面下载比较慢，可以在官网下载 Big Data Tools - IntelliJ IDEs Plugi 阅读全文
摘要：
下面分享一下最近学到的HDFS的有关文件系统操作shell命令 一、创建文件夹 hadoop fs -mkdir [-p] <path> ... hdfs dfs -mkdir [-p] <path> ... #hadoop fs -mkdir -p /ijc/bigdata #hdfs fs -m 阅读全文
摘要：
HDFS集群启停命令： 一键启停脚本 #启动 $HADOOP_HOME/sbin/start-dfs.sh #停用 $HADOOP_HOME/sbin/stop-dfs.sh 独立进程启程 #脚本一 hadoop-daemon.sh (start|status|stop) (namenode|sec 阅读全文
摘要：
本篇博客跟大家分享一下如何在VMware虚拟机集群上部署HDFS集群 一·、下载hadoop安装包 进入官网：https://hadoop.apache.org 下载hadoop安装包 由于Apache Hadoop是国外网址，下载安装包对于网络要求较高 二、上传压缩包，进行解压 在进行解压之前，保 阅读全文
摘要：
最近有人向我询问说：为什么他的HDEF集群一键启动时只有node1进程有反应，node2和node3没有反应 我看完他的问题之后，想到了自己在部署时也遇到了同样的问题，现在来分享一下自己的解决方案 出现这种情况的主要原因是：workers文件没有配置好 解决方法： 输入：vim /export/se 阅读全文
摘要：
这周我继续学习大数据相关知识，学习和了解了mapreduce和yarn的相关知识 一、MapReduce——分布式计算框架 在学习MapReduce时，我考虑了几个问题 什么是MapReduce MapReduce是Hadoop中的分布式计算组件 MapReduce可以以分散->汇总（聚合）模式执行 阅读全文
摘要：
在本周，我学习的内容很少，因为我在本周选择了出去旅行放松身心。 在这一周中，我带着我的弟弟去了北京。这是我半年前答应好他的，在这个暑假我来实现这个承诺。说是带他去北京，但是这也是我为数不多去北京的机会，之前因为年纪小去过的景点都有些忘记，这一次去又是一种全新的体验。 我们一共去了三天，第一天中午到达 阅读全文
摘要：
本周我开始学习hadoop框架 首先我了解到分布式系统的组织形式，以及Hadoop服从主从模式的框架架构 接着开始学习HDFS基础架构 HDFS架构属于主从模式，一个主节点和多个分节点 在了解完HDFS架构之后，我开始试着部署HDFS架构 在经过几个小时的努力下，最终成功部署成功，能够一键启动HDF 阅读全文
摘要：
最近这些天，在王建民老师的建议下，我观看了王志文老师主演的电视剧《天道》。在最初看到老师的建议时，我感到十分诧异，为什么要让我们看这个十多年前的老电视剧呢，新拍的电视剧我都看不过来，更何况还是这种画质极低的老片子呢，但是在我看完一集之后，发现这个剧情挺有意思，于是耐着性子看完了整部电视剧。看完之后， 阅读全文
摘要：
linux系统配置jdk环境 本周我继续大数据的学习，众所周知学习大数据开发，首先要熟悉各种linux命令，对于各种命令，我只是大致过了一遍，还需要继续练习才能学会使用，在本周我开始配置jdk环境。 由于linux命令的不熟悉，导致我在这个配置jdk环境上花费了大量的时间 过程如下： [root@n 阅读全文