05 2019 档案

摘要:1 异常信息 2 原因 因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录,导致总是出现问题,删除掉core-site.xml中的tmp.dir配置,统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置 阅读全文
posted @ 2019-05-30 21:16 Questions张 阅读(714) 评论(0) 推荐(0) 编辑
摘要:1 yarn application -list 阅读全文
posted @ 2019-05-27 19:48 Questions张 阅读(2006) 评论(0) 推荐(0) 编辑
摘要:1 先查看整个磁盘的情况 df -h 查看整台服务器的硬盘使用情况 cd / 进入根目录 du -sh * 查看每个文件夹的大小 2 再进入到对应的大空间文件夹,定位,大文件夹 3 使用ln -s 软连接,连接到空间大的硬盘 例如 /var/log 空间太大,存储的,移动到wm1文件夹下面 sudo 阅读全文
posted @ 2019-05-16 11:27 Questions张 阅读(635) 评论(0) 推荐(0) 编辑
摘要:1 同时运行5个Spark任务的资源分配截图 2 每个任务占用3个Container 3个core以及4.5GB内存 也就是说一个Container需要 1个core 以及 512MB的内存 如果资源不够,可以提交任务时修改下内存分配,比如256MB,这样就可以提交更多的Spark任务到Yarn集群 阅读全文
posted @ 2019-05-13 09:32 Questions张 阅读(685) 评论(0) 推荐(0) 编辑
摘要:truncate table 可以不删除表的情况下,快速情况表数据 阅读全文
posted @ 2019-05-11 23:09 Questions张 阅读(6459) 评论(0) 推荐(1) 编辑
摘要:1 第一个是替换当前行的yesterday为all 第二个是替换全局的 yesterday 为all :s/yesterday/all :s/yesterday/all/g 阅读全文
posted @ 2019-05-11 23:01 Questions张 阅读(387) 评论(0) 推荐(0) 编辑
摘要:1 ssh -v git@github.com 通过这个命令打印调试信息 ebug1: expecting SSH2_MSG_NEWKEYS debug1: SSH2_MSG_NEWKEYS received debug1: rekey after 134217728 blocks debug1: 阅读全文
posted @ 2019-05-11 11:03 Questions张 阅读(2456) 评论(0) 推荐(0) 编辑
摘要:1 详细信息 User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was creat 阅读全文
posted @ 2019-05-09 19:31 Questions张 阅读(4390) 评论(0) 推荐(0) 编辑
摘要:激活1.0.1的包 然后重启各个节点 检查kafka版本是否升级成功 版本升级成功 验证之前的topic是否可用 生产者启动 [cloudera-scm@cdh4 parcel-repo]$ /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/ka 阅读全文
posted @ 2019-05-06 23:08 Questions张 阅读(909) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示