bigbee

摘要： mapreduce和hdfs采用java实现，默认提供java编程接口 streaming框架允许任何程序语言实现的程序在hadoop mapreduce中使用 streaming方便已有的程序向hadoop平台移植 streaming原理图 streaming局限 streaming默认只能处理文 阅读全文

摘要： map个数为split的份数 压缩文件不可切分 非压缩文件和sequence文件可以切分 dfs.block.size决定block大小 1 2 3 dfs.block.size 4 512000 //修改默认HDFS（block）块的大小 5 6 阅读全文