Alex

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2016年2月16日

摘要: 用scala实现简单的从文件中读取数据,并进行计算。 阅读全文
posted @ 2016-02-16 10:17 疯狂矩阵 阅读(1457) 评论(1) 推荐(0) 编辑

2015年9月10日

摘要: 转载请注明来自36大数据(36dsj.com):36大数据 » Hadoop分布式文件系统HDFS的工作原理详述转注:读了这篇文章以后,觉得内容比较易懂,所以分享过来支持一下。Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适... 阅读全文
posted @ 2015-09-10 10:35 疯狂矩阵 阅读(179) 评论(0) 推荐(0) 编辑

2015年7月13日

摘要: 本文通过对日常使用的一些Linux命令进行总结分享,希望能给大家一些帮助。 阅读全文
posted @ 2015-07-13 12:40 疯狂矩阵 阅读(1827) 评论(0) 推荐(1) 编辑

2015年5月18日

摘要: Hive insert into directory 命令输出的文件没有指定列分隔符,输出结果就像变成了一个字符串。通过CREATE EXTERNAL TABLE 和load 方式,尝试了多种分隔符都不能正确的区分,所有的字段内容合起来变成一个字符串放在了第一个字段,而后面的字段全部为NULL。 阅读全文
posted @ 2015-05-18 21:09 疯狂矩阵 阅读(6397) 评论(0) 推荐(1) 编辑

2015年5月15日

摘要: 要做一个通过调用python来实现对hive server2 的连接。在网上搜索了很多资料,有些说的hive sever的,但是由于认证方式发生改变,行不通。最后,找到了权威的说明(PS: 还是应该先看官方材料):https://cwiki.apache.org/confluence/display... 阅读全文
posted @ 2015-05-15 21:51 疯狂矩阵 阅读(2468) 评论(0) 推荐(0) 编辑

2014年12月28日

摘要: 摘自《码农增刊Linus与Linux》,章节:你可能不知道的Shell。 最近阅读完这本书,觉得其中有很多不错的内容,这是其中的一个Shell小甜点,拿来和大家一起分享一下,增加了一些我自己的测试内容。笔者写这个随笔,旨在分享和提高大家对Shell的兴趣。 阅读以下部分前,强烈建议读者打开一个s... 阅读全文
posted @ 2014-12-28 11:42 疯狂矩阵 阅读(1115) 评论(0) 推荐(0) 编辑