05 2019 档案
摘要:1 异常信息 2 原因 因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录,导致总是出现问题,删除掉core-site.xml中的tmp.dir配置,统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置
阅读全文
摘要:1 yarn application -list
阅读全文
摘要:1 先查看整个磁盘的情况 df -h 查看整台服务器的硬盘使用情况 cd / 进入根目录 du -sh * 查看每个文件夹的大小 2 再进入到对应的大空间文件夹,定位,大文件夹 3 使用ln -s 软连接,连接到空间大的硬盘 例如 /var/log 空间太大,存储的,移动到wm1文件夹下面 sudo
阅读全文
摘要:1 同时运行5个Spark任务的资源分配截图 2 每个任务占用3个Container 3个core以及4.5GB内存 也就是说一个Container需要 1个core 以及 512MB的内存 如果资源不够,可以提交任务时修改下内存分配,比如256MB,这样就可以提交更多的Spark任务到Yarn集群
阅读全文
摘要:truncate table 可以不删除表的情况下,快速情况表数据
阅读全文
摘要:1 第一个是替换当前行的yesterday为all 第二个是替换全局的 yesterday 为all :s/yesterday/all :s/yesterday/all/g
阅读全文
摘要:1 ssh -v git@github.com 通过这个命令打印调试信息 ebug1: expecting SSH2_MSG_NEWKEYS debug1: SSH2_MSG_NEWKEYS received debug1: rekey after 134217728 blocks debug1:
阅读全文
摘要:1 详细信息 User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was creat
阅读全文
摘要:激活1.0.1的包 然后重启各个节点 检查kafka版本是否升级成功 版本升级成功 验证之前的topic是否可用 生产者启动 [cloudera-scm@cdh4 parcel-repo]$ /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/ka
阅读全文