2015 年 12月 3 日随笔档案 - 骁枫

2015年12月3日

摘要： 1、spark sql可以直接加载avro文件，之后再进行一系列的操作，示例：阅读全文

posted @ 2015-12-03 11:45 骁枫阅读(1050) 评论(0) 推荐(0) 编辑

摘要： 1、通过Java往hdfs写avro文件 1 import java.io.File; 2 import java.io.IOException; 3 import java.io.OutputStream; 4 import java.nio.ByteBuffer; 5 6 import org... 阅读全文

posted @ 2015-12-03 11:31 骁枫阅读(2765) 评论(0) 推荐(0) 编辑

spark使用scala读取Avro数据（转）

摘要：这是一篇翻译，原文来自：How to load some Avro data into Spark。首先，为什么使用 Avro ？最基本的格式是 CSV ，其廉价并且不需要顶一个一个 schema 和数据关联。随后流行起来的一个通用的格式是 XML，其有一个 schema 和数据关联，XML 广泛... 阅读全文

posted @ 2015-12-03 11:31 骁枫阅读(1570) 评论(0) 推荐(0) 编辑