摘要：
1 阅读全文
摘要：
ps -rf|grep pid号 ，一直查询不到，进程并没有运行，后来在Zookeeper中发现get /zk/codis/db_gdata/dashboard 这个中存在着pid，连接到zookeeper命令：zkCli.sh -server 127.0.0.1:2181 将Zookeeper 中 阅读全文
摘要：
今天上传文件的时候发现传上去的文件为空，错误提示如上述所示，原来是IP地址改掉了对呀应etc／hosts下面的IP地址也要改变，永久改ip命令－ifconfig eth0 xxx·xxx·xxx·xxx up。改完IP即可同时ssh其他节点也可以成功 阅读全文
摘要：
mapreduce程序处理GBK编码数据并输出GBK编码数据, hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时，输出的结果为乱码，只能由 阅读全文
摘要：
小文件是指那些size比HDFS的block size（默认64m）小的多的文件。任何一个文件，目录和bolck，在HDFS中都会被表示为一个object存储在namenode的内存中，每一个object占用150bytes的内存空间。所以，如果有10milion个文件，每一个文件对应一个block 阅读全文
摘要：
这个问题也是在开发项目中经常遇到的一个问题，网上提供了很多方法，但是我发现很多并不适用，这里推荐两种方法，一种肯定没问题，就是比较麻烦，另一种是适用FatJar来打包，但是我没成功，原因估计出在ubuntu下的eclipse导入插件可能和windows下面的不一样 方式一： 将所有的第三方jar包放 阅读全文
摘要：
运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operati 阅读全文
摘要：
当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的，在执行mapreduce的时候，每个map和reduce都有自己分配到内存的最大值，当map函数需要的内存大于这个值就会报这个错误，解决方法： 在mapredu 阅读全文
摘要：
在Spark 集群上运行一个应用,只需通过master的 spark://IP:PORT 链接传递到SparkContext构造器 在集群上运行交互式的Spark 命令, 运行如下命令： 注意，如果你在一个 spark集群上运行了spark-shell脚本，spark-shell 将通过在conf/ 阅读全文
摘要：
Spouts,流的源头 Spout是Storm里面特有的名词，Stream的源头，通常是从外部数据源读取tuples，并emit到topology Spout可以同时emit多个tupic stream，通过OutputFieldsDeclarer中的declareStream，method来定义 阅读全文