会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
清山布衣
首页
管理
2015年8月
Hadoop File-Based Data Structures (二) Avro
摘要: 标题 待续...
阅读全文
posted @ 2015-08-17 17:25 清山布衣
阅读(100)
评论(0)
推荐(0)
编辑
Hadoop File-Based Data Structures (一) SequencdFile 和 MapFile
摘要: 标题 待续...
阅读全文
posted @ 2015-08-17 17:24 清山布衣
阅读(138)
评论(0)
推荐(0)
编辑
2015年6月
Hadoop-1.2.1 源码分析2 (Hadoop IO模块)
摘要: 由于Hadoop的MapReduce和HDFS都有通信的需求,所以需要对通信的对象进行序列化. Hadoop并没有采用Java的序列化,而是引入了它自己的序列化系统.org.apache.hadoop.io包中定义了大量的可序列化对象,这些对象都实现了 Writable 接口. Writable 接...
阅读全文
posted @ 2015-06-26 15:29 清山布衣
阅读(418)
评论(0)
推荐(0)
编辑
Hadoop-1.2.1 源码分析1 (包图概览)
摘要: 要存点货啊, 潜心研究技术Hadoop主要包括如下组成部分:Hadoop Core:一些支持hadoop其它子项目的通用工具集 (新版本改为 Hadoop Common)HDFS:一个高容错性的分布式文件系统,用于存储数据MapReduce:一个处理大数据集的分布式计算框架图1-1 是Hadoop项...
阅读全文
posted @ 2015-06-25 12:16 清山布衣
阅读(466)
评论(0)
推荐(0)
编辑
linux 批量删除空文件或空文件夹
摘要: 1. 批量删除空文件(大小等于0的文件)find . -name "*" -type f -size 0c | xargs -n 1 rm -f2. 删除指定size大小文件find . -name "*" -type f -size 1024c | xargs -n 1 rm -fps: 此处即删...
阅读全文
posted @ 2015-06-15 17:03 清山布衣
阅读(9213)
评论(0)
推荐(0)
编辑
hadoop, hive 启用LZO压缩
摘要: 环境: ubuntu hadoop-2.6.0 hive-1.1.01 sudo apt-get install liblzo2-dev hadoop@idex140:~/modules/hadoop-2.6.0$ dpkg -L liblzo2-2 (查看安装包的位置)/./usr/usr/l...
阅读全文
posted @ 2015-06-05 15:41 清山布衣
阅读(3323)
评论(0)
推荐(0)
编辑
公告