hadoop如何计算map数和reduce数（未读）
摘要：
http://blog.csdn.net/lpxuan151009/article/details/7937821 阅读全文
posted @ 2014-03-10 17:17 雨渐渐 阅读(159) 评论(0) 推荐(0) 编辑
hadoop job执行完的统计信息
摘要：
Total committed heap usage (bytes)=1084792832 Physical memory (bytes) snapshot=1456316416 Virtual memory (bytes) snapshot=4766052352 这是统计的作业运行过程（从开始到最后结束）中，累加的jvm总内存使用量，总物理内存使用量总虚拟内存使用量，这几个内存的含义属于操作系统范畴的概念， 阅读全文
posted @ 2014-03-06 14:57 雨渐渐 阅读(267) 评论(0) 推荐(0) 编辑
hdfs 常用命令
摘要：
(2）bin/hdfs dfs -mkdir -p /home/雨渐渐(3）scp /media/root/DCE28B65E28B432E/download/第2周/ChinaHadoop第二讲\(1\).mp4 root@192.168.2.200:/data/hadoop/bin/hdfs d... 阅读全文
posted @ 2014-03-05 16:52 雨渐渐 阅读(783) 评论(0) 推荐(0) 编辑
hadoop hdfs 命令行 设置文件夹大小的上限 quota：配额
摘要：
》bin/hdfs dfs -put readme.txt /finance》bin/hdfs dfs -du -s /finance》3901 /finance》bin/hdfs dfsadmin -setSpaceQuota 4000 /finance 设置/finance的大小上限为4000个字节》bin/hdfs dfs -put readme1.txt /finance 由于已经超出4000个字节，则会报错14/03/04 11:56:31 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.hdfs.pro... 阅读全文
posted @ 2014-03-04 12:07 雨渐渐 阅读(6137) 评论(0) 推荐(0) 编辑
Python 日期格式化 及 schwartzian排序
摘要：
__author__ = 'root'import datetimeimport timeimport copy# 12/Dec/2012:23:59:50# 12/Sep/2012:23:58:50# 11/Sep/2012:23:59:50# 19/Sep/2012:23:58:50def getTime(dtstr): print dtstr time = datetime.datetime.strptime(dtstr, '%d/%b/%Y:%H:%M:%S') return time.strftime('%Y%m%d%H%M%S')li 阅读全文
posted @ 2014-02-28 11:31 雨渐渐 阅读(1648) 评论(0) 推荐(0) 编辑
好的数据源
摘要：
数据堂中国统计网微博，微信，整理与收集数据分析文章http://www.itongji.cn/elite/数据草堂， 可能有原始数据http://www.itongji.cn/hao/ http://a.iresearch.cn/others/20140421/230189.shtml 王坚：相比谷... 阅读全文
posted @ 2014-02-27 13:40 雨渐渐 阅读(121) 评论(0) 推荐(0) 编辑
董的博客 hadoop
摘要：
董的博客https://issues.apache.org/jira/browse/MAPREDUCE很重要，把MAPREDUCE改为YARN即可直接下载patch即可http://hortonworks.com/blog/http://blog.cloudera.com/blog/ 阅读全文
posted @ 2014-02-27 09:36 雨渐渐 阅读(560) 评论(0) 推荐(0) 编辑
hadoop 2.2.0 集群部署 坑
摘要：
注意fs.defaultFS为2.2.0新的变量，代替旧的：fs.default.namehadoop 2.2.0 集群启动命令：bin/hdfs namenode -formatsbin/start-dfs.shsbin/start-yarn.sh bin/hdfs -put input in... 阅读全文
posted @ 2014-02-25 16:13 雨渐渐 阅读(283) 评论(0) 推荐(0) 编辑
python 单元测试
摘要：
http://blog.csdn.net/five3/article/details/7104466 阅读全文
posted @ 2014-02-21 18:06 雨渐渐 阅读(97) 评论(0) 推荐(0) 编辑
python Hbase Thrift pycharm 及引入包
摘要：
cp -r hbase/ /usr/lib/python2.7/site-packages/官方示例子http://code.google.com/p/hbase-thrift/source/browse/trunk/python/test/tables.pyhttp://yannramin.com... 阅读全文
posted @ 2014-02-20 08:50 雨渐渐 阅读(3289) 评论(0) 推荐(0) 编辑
