2015 年 12月 1 日随笔档案 - 骁枫

2015年12月1日

摘要：使用使用使用使用 HDFS 保存大量小文件的缺点：1.Hadoop NameNode 在内存中保存所有文件的“元信息”数据。据统计，每一个文件需要消耗 NameNode600 字节内存。如果需要保存大量的小文件会对NameNode 造成极大的压力。2.如果采用 Hadoop MapReduce ... 阅读全文

posted @ 2015-12-01 17:48 骁枫阅读(1315) 评论(0) 推荐(0) 编辑

Java读写avro例子

摘要：一、avro是一个数据序列化框架，可以高效得进行序列化和反序列化，支持C, C++, C#, Java, PHP, Python, 和Ruby语言。现在使用Java来读写。二、环境搭建 1、下载avro-1.7.7.jarandavro-tools-1.7.7.jar两个jar包，放到指定文件目录... 阅读全文

posted @ 2015-12-01 14:20 骁枫阅读(13281) 评论(0) 推荐(1) 编辑