05 2018 档案
摘要：某个reduce中的value堆积的对象过多，导致jvm频繁GC。 解决办法： 1. 增加reduce个数，set mapred.reduce.tasks=300，。 2. 在hive-site.xml中设置，或者在hive shell里设置 set mapred.child.java.opts =
阅读全文
摘要：Angel - 模拟Kafka数据流调试FTRL的方法 Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件，比如，新建一个名为streaming的文件夹 mkdir streaming Zookeeper安装 1.下载zo
阅读全文
摘要：gdiff 63e3b647d55fcc643e793e650c893be8601719b1 548cdaf01dbc2f08d1ca0b697a24afe512b75a2f --stat git log 查看commit的历史 git show 查看某次commit的修改内容 git log -p 查看某个文件的修改历史 git log -p -2查看最近2次的更新内容
阅读全文
摘要：变量交换 >>> a, b = b, a 循环遍历区间元素 >>>for i in range(10): ... print (i) 返回的是生成器对象，生成器比列表更加节省内存 带索引位置的循环遍历 >>>colors = ['red', 'green', 'blue', 'yellow'] >>>for i, color in enumerate(colors): ... p...
阅读全文
摘要：报错信息里，写的很清楚了： 到known_hosts文件里删掉错误的主机SHA记录重新连接就ok了。 出现这种状况的原因可能是远端机器有所变化，导致的机器码SHA出现变化，校验不通过~ 删除掉known_hosts对应ip的行，就可以了。
阅读全文
