随笔分类 - 下载大数据相关文件的经历
hadoop+zookeeper+hbase
hive使用
摘要：终于解决了 我的配置有点问题，但在每次进入hive后，执行一遍 set hive.exec.mode.local.auto=true; 就可以用了 终于，困扰我三四天的问题解决了
阅读全文
摘要：要先开启hadoop服务 进入root用户hive目录 输入bin/hiveservices.sh stop 停止 输入bin/hiveservices.sh start 开启服务 输入bin/hiveservices.sh status 状态 restart 重启 在root模式下hive目录里
阅读全文
摘要：错误原因： 1.系统找不到这个类所在的jar包 2.jar包的版本不一样系统不知道使用哪个。 hive启动报错的原因是后者 解决办法： 1、com.google.common.base.Preconditions.checkArgument这个类所在的jar包为：guava.jar 2、hadoop
阅读全文
摘要：今天弄了一下午这个问题，弄到了将近十点，终于解决了，终于解决这个问题了，感谢旭旭大佬相助，不再报错了。 本来今天中午，我已经弄好了，结果我午睡了一下再看就报错了，哎。今天本来已经绝望了，后来问了一下大佬，大佬在我的虚拟机上试了好多办法，终于好了，太感谢了。 附上帮助解决问题的网站：(59条消息) o
阅读全文
摘要：我今天真的好难受，在我结束hbase的配置的后，又是成功运行了shell命令，我以为万事大吉，结果下午再用shell命令时，给我报了这个错，我按着网上说的删了点东西，还是解决不了，难受啊。 我现在时决定再重配一下了，从zookeeper开始，祝我好运，希望建民哥明天不要罚我，呜呜呜。
阅读全文
摘要：遇到了个问题，zookeeper在执行 bin/zkServer.sh stop时 会报题目中的错误，我搜了一下博客，好像是因为第一次启动的不是zkServer。sh中的服务 我先 kill -9 加上QuorumPeerMain的号码，关闭了他 再重新启动，就可以正常关闭了
阅读全文
摘要：cd /opt/module/hbase/ 开启 bin/start-hbase.sh 关闭 bin/stop-hbase.sh hbase界面 hadoop102：16010
阅读全文
摘要：cd cd bin/ 启动zk.sh start 关闭zk.sh stop 查看zk.sh status
阅读全文
摘要：cd /opt/module/hadoop-3.1.3 关 myhadoop.sh stop 开 myhadoop.sh start 开启历史服务器 mapred --daemon start historyserver 看 jpsall （想学的可以看尚硅谷的hadoop教程）
阅读全文
摘要：1）各个模块分开启动/停止（配置 ssh 是前提）常用 （1）整体启动/停止 HDFS start-dfs.sh/stop-dfs.sh （2）整体启动/停止 YARN start-yarn.sh/stop-yarn.sh 2）各个服务组件逐一启动/停止 （1）分别启动/停止 HDFS 组件 hdf
阅读全文
摘要：在配置完Hadoop集群后，使用命令：“start-all.sh”进行启动集群。然后使用命令：“jps”查看进程启动情况，发现没有NodeManager 在网上搜索后发现，是因为 “NodeManager必须拥有大于等于1024M的内存空间”，于是进入yarn-site.xml进行修改，在里面加入以
阅读全文
摘要：cd /home/hadoop100 cd $HADOOP_HOME/etc/hadoop 就可以开始配置了 vim core-site.xml vim hdfs-site.xml vim yarn-site.xml vim mapred-site.xml 然后分发 xsync /opt/modul
阅读全文
摘要：今天又遇到一个这种错误，头都大了（我是看尚硅谷的视频配的Hadoop），网上搜了以下原因，(59条消息) hadoop3.1.3下MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题解决方法_い木乄子
阅读全文
摘要：先在几台虚拟机输入cd /opt/module/hadoop-3.1.3/ （1）如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式 化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找 不到已
阅读全文
摘要：start-yarn.sh出错Starting resourcemanager ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no YARN_RESOURCEMANAGER_USER
阅读全文
摘要：因为我是用的root用户登录，所以还进行了以下修改 输入 vi /etc/ssh/sshd_config 找到 ##PermitRootLogin yes 然后把##删了。
阅读全文
摘要：今天在配置Hadoop环境的集群启动时，输入vim yarn-site.xml时，报了题目这种错，在搜了半天后发现，应该是ssh免密登录出错了，我看的视频上是只配置了普通用户的免密登录，而我用的是管理员，还要再配一遍管理员的ssh免密登录。
阅读全文
