随笔分类 -  Hadoop

sqoop工具介绍（hdfs与关系型数据库进行数据导入导出）
摘要：数据表 第一类：数据库中的数据导入到HDFS上 第二类：将HDFS上的数据导出到数据库中(不要忘记指定分隔符) 阅读全文
posted @ 2017-02-05 00:38 凌晨。。。三点 阅读(1261) 评论(0) 推荐(0) 编辑
MapReduce经典入门小案例
摘要：/** * 单词统计 * @author fengmingyue * */ public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Jo... 阅读全文
posted @ 2017-01-28 20:43 凌晨。。。三点 阅读(2248) 评论(0) 推荐(0) 编辑
hdfs的java接口简单示例
摘要：public class HDFSDemo { private FileSystem fs = null; @Before public void init() throws IOException, URISyntaxException, InterruptedException{ fs = Fi 阅读全文
posted @ 2017-01-24 17:45 凌晨。。。三点 阅读(472) 评论(0) 推荐(0) 编辑
Mac环境下安装配置Hadoop伪分布式
摘要：伪分布式需要修改5个配置文件（hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop） 第一个：hadoop-env.sh 第二个：core-site.xml 第三个：hdfs-site.xml 第四个：mapred-site.xml (mv mapred-site.xml.te 阅读全文
posted @ 2017-01-22 00:30 凌晨。。。三点 阅读(1520) 评论(0) 推荐(0) 编辑