摘要: 参考资源:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ig_install_path_b.html#cmig_topic_6_6_3_unique_1__section_tg4_bbc... 阅读全文
posted @ 2015-05-14 16:58 闪电战 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 元组比较:1 >>> (0, 1, 2) >> (0, 1, 2000000) < (0, 3, 4)4 True列表的多字段排序:sorted_list = [ [1, 2, 3, 4, 5, 6, 7, 8], [3, 2, 6, 1, 8, 4, 6, 1], [8, 3, ... 阅读全文
posted @ 2015-05-11 15:49 闪电战 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 注意:docker容器最早受到RHEL完善的支持是从最近的CentOS 7.0开始的,官方说明是只能运行于64位架构平台,内核版本为2.6.32-431及以上(即>=CentOS 6.5,运行docker时实际提示3.8.0及以上),升级内核请参考CentOS 6.x 内核升级,请参考CentOS ... 阅读全文
posted @ 2015-05-08 16:17 闪电战 阅读(2009) 评论(0) 推荐(0) 编辑
摘要: Docker能处理的事情包括: 1、隔离应用依赖 2、创建应用镜像并进行复制 3、创建容易分发的即启即用的应用 4、允许实例简单、快速地扩展 5、测试应用并随后销毁它们Docker背后的想法是创建软件程序可移植的轻量容器,让其可以在任何安装了Docker的机器上运行,而不用关心底层操作系统... 阅读全文
posted @ 2015-05-08 16:04 闪电战 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 如下文件需要处理,每个文件大概13G,其中字段以空格(32)分隔的7个字段;最麻烦的是中间有脏数据:-rw-r--r-- 1 hadoop ifengdev 1895843464 May 6 14:56 feedback201503_201.tar.gz-rw-r--r-- 1 hadoop if... 阅读全文
posted @ 2015-05-06 17:39 闪电战 阅读(3701) 评论(0) 推荐(0) 编辑
摘要: docker:告诉你为什么应该关注docker的好文章:http://thenewstack.io/why-you-should-care-about-docker/docker源码介绍,想读源码的可以看一看:http://oilbeater.com/docker/2014/11/11/docker... 阅读全文
posted @ 2015-05-04 10:45 闪电战 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 将要执行异步任务脚本 tasks.py:from celery import Celeryfrom celery import group# host='10.32.21.52', port=6379, db=3app = Celery('tasks', backend = 'redis://10.... 阅读全文
posted @ 2015-04-30 18:06 闪电战 阅读(260) 评论(0) 推荐(0) 编辑
摘要: java.lang.RuntimeException: java.lang.UnsupportedOperationException: Currently the writer can only accept BytesRefArrayWritable 阅读全文
posted @ 2015-04-22 14:12 闪电战 阅读(1097) 评论(0) 推荐(0) 编辑