摘要：
1 同时运行5个Spark任务的资源分配截图 2 每个任务占用3个Container 3个core以及4.5GB内存 也就是说一个Container需要 1个core 以及 512MB的内存 如果资源不够，可以提交任务时修改下内存分配，比如256MB，这样就可以提交更多的Spark任务到Yarn集群 阅读全文
摘要：
truncate table 可以不删除表的情况下，快速情况表数据 阅读全文
摘要：
1 第一个是替换当前行的yesterday为all 第二个是替换全局的 yesterday 为all :s/yesterday/all :s/yesterday/all/g 阅读全文
摘要：
1 ssh -v git@github.com 通过这个命令打印调试信息 ebug1: expecting SSH2_MSG_NEWKEYS debug1: SSH2_MSG_NEWKEYS received debug1: rekey after 134217728 blocks debug1: 阅读全文
摘要：
1 详细信息 User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was creat 阅读全文
摘要：
激活1.0.1的包 然后重启各个节点 检查kafka版本是否升级成功 版本升级成功 验证之前的topic是否可用 生产者启动 [cloudera-scm@cdh4 parcel-repo]$ /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/ka 阅读全文
摘要：
1 系统设置--Mission Control -- 自动根据最近使用情况排序的勾勾去掉 阅读全文