02 2014 档案

Python 日期格式化 及 schwartzian排序
摘要:__author__ = 'root'import datetimeimport timeimport copy# 12/Dec/2012:23:59:50# 12/Sep/2012:23:58:50# 11/Sep/2012:23:59:50# 19/Sep/2012:23:58:50def getTime(dtstr): print dtstr time = datetime.datetime.strptime(dtstr, '%d/%b/%Y:%H:%M:%S') return time.strftime('%Y%m%d%H%M%S')li 阅读全文

posted @ 2014-02-28 11:31 雨渐渐 阅读(1650) 评论(0) 推荐(0) 编辑

好的数据源
摘要:数据堂中国统计网微博,微信,整理与收集数据分析文章http://www.itongji.cn/elite/数据草堂, 可能有原始数据http://www.itongji.cn/hao/ http://a.iresearch.cn/others/20140421/230189.shtml 王坚:相比谷... 阅读全文

posted @ 2014-02-27 13:40 雨渐渐 阅读(122) 评论(0) 推荐(0) 编辑

董的博客 hadoop
摘要:董的博客https://issues.apache.org/jira/browse/MAPREDUCE很重要,把MAPREDUCE改为YARN即可直接下载patch即可http://hortonworks.com/blog/http://blog.cloudera.com/blog/ 阅读全文

posted @ 2014-02-27 09:36 雨渐渐 阅读(564) 评论(0) 推荐(0) 编辑

hadoop 2.2.0 集群部署 坑
摘要:注意fs.defaultFS为2.2.0新的变量,代替旧的:fs.default.namehadoop 2.2.0 集群启动命令:bin/hdfs namenode -formatsbin/start-dfs.shsbin/start-yarn.sh bin/hdfs -put input in... 阅读全文

posted @ 2014-02-25 16:13 雨渐渐 阅读(285) 评论(0) 推荐(0) 编辑

python 单元测试
摘要:http://blog.csdn.net/five3/article/details/7104466 阅读全文

posted @ 2014-02-21 18:06 雨渐渐 阅读(98) 评论(0) 推荐(0) 编辑

python Hbase Thrift pycharm 及引入包
摘要:cp -r hbase/ /usr/lib/python2.7/site-packages/官方示例子http://code.google.com/p/hbase-thrift/source/browse/trunk/python/test/tables.pyhttp://yannramin.com... 阅读全文

posted @ 2014-02-20 08:50 雨渐渐 阅读(3290) 评论(0) 推荐(0) 编辑

python 性能鸡汤
摘要:转载自:http://www.oschina.net/question/1579_458221:使用内建函数input() int() isinstance() issubclass() iter() open() ord() pow() print() property()2 使用join()连接字符串 >>> chunk = ['a', 'b', 'c', 'd'] >>> a = '_'.join(chunk) >>> a 'a_b_c_d' 阅读全文

posted @ 2014-02-19 17:33 雨渐渐 阅读(184) 评论(0) 推荐(0) 编辑

hbase 0.96 单机伪分布式配置文件及遇到的问题 find命令
摘要:http://www.apache.org/dyn/closer.cgi/hbase/国外的站点下载速度慢,可以考虑国内的镜像网站~前面已经部署好了hadoop2.2.0单机伪分布式。必须先安装hadoop环境。vim hbase-env.sh # The java implementation t... 阅读全文

posted @ 2014-02-19 10:57 雨渐渐 阅读(283) 评论(0) 推荐(0) 编辑

ubuntu下配置protobuf
摘要:http://blog.csdn.net/guoyilongedu/article/details/17093811最近想研究protobuf ,尝试了很多次都没有成功,我用的是ubuntu,在虚拟机下面的 ,protobuf 也用了很多版本但都没有成功。最终用的是2.5.0版本才成功,话不多说直接开始梳理一下配置的流程。首先得到 protobuf 相应的包文件 ,在终端上输入如下[plain] view plaincopywgethttp://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz下载完毕后进行解压[html] view pla 阅读全文

posted @ 2014-02-19 10:44 雨渐渐 阅读(1169) 评论(0) 推荐(0) 编辑

hadoop 2.2.0 eclipse 插件编译 及相关eclipse配置图解
摘要:https://github.com/winghc/hadoop2x-eclipse-plugin官网http://kangfoo.github.io/article/2013/12/build-hadoop2x-eclipse-plugin/私人整理hadoop 2.x eclipse 开发环境的... 阅读全文

posted @ 2014-02-14 14:28 雨渐渐 阅读(431) 评论(0) 推荐(0) 编辑

hadoop2.2.0 单机伪分布式(含64位hadoop编译) 及 eclipse hadoop开发环境搭建
摘要:hadoop中文镜像地址:http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.2.0/第一步,下载wget 'http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2... 阅读全文

posted @ 2014-02-13 15:05 雨渐渐 阅读(1646) 评论(0) 推荐(0) 编辑

install ubuntu
摘要:http://wenku.baidu.com/link?url=Cq6nB1ArObV1liMUT13ZB9o16NQ0-FpELt37R6NuPvz7zoKlz14Mu_k-8CwqQodWpRC8Cfx7zQ_ji8WkcDGZ6L1AhngYXvVFvL8Ny054fSmfirefox flash plugins installhttp://jingyan.baidu.com/article/fdbd42771eeab1b89f3f4865.htmlsougou input 阅读全文

posted @ 2014-02-13 11:36 雨渐渐 阅读(160) 评论(0) 推荐(0) 编辑

ubuntu wubi安装注意事项
摘要:从这个镜像下载 http://mirrors.163.com/ubuntu-releases/12.10/ ubuntu-12.10-desktop-amd64.iso 和 wubi.exe然后放到同一个盘符的根目录下,然后单击wubi.exe即可. 阅读全文

posted @ 2014-02-12 11:41 雨渐渐 阅读(211) 评论(0) 推荐(0) 编辑

HBase eclipse开发环境搭建
摘要:伪分布式环境安装事先本机必须部署好了伪分布式hadoop开发环境将Hbase/lib下的 hadoop-core-*.jar 与 hadoop保持一致。 将hadoop下的复制到hbase下将hadoop开发相关的包add build path,将hbase-0.92.1.jar和zookeeper... 阅读全文

posted @ 2014-02-09 15:08 雨渐渐 阅读(709) 评论(0) 推荐(0) 编辑

nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署
摘要:参考网站:http://blog.csdn.net/weijonathan/article/details/10178919 一个完整的部署过程,只是版本有所区别http://m.blog.csdn.net/blog/WeiJonathan/9251597 杨尚川的博客(nutch 分布... 阅读全文

posted @ 2014-02-08 14:02 雨渐渐 阅读(1718) 评论(0) 推荐(0) 编辑

nutch,hbase,zookeeper兼容性问题
摘要:nutch-2.1使用gora-0.2.1, gora-0.2.1使用hbase-0.90.4,hbase-0.90.4和hadoop-1.1.1不兼容,hbase-0.94.4和gora-0.2.1不兼容,hbase-0.92.2没问题。由川哥的博客的这段话可以知道,nutch-2.1+ hadoop 1.1.1 + hbase-0.92.2 是没问题的。 阅读全文

posted @ 2014-02-08 10:29 雨渐渐 阅读(388) 评论(0) 推荐(0) 编辑

导航