2016年11月21日
Sqoop1.4.6配置和使用
摘要： http://jingpin.jikexueyuan.com/article/39333.html http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_example_invocations_4 http://blog.csdn.net/p 阅读全文
posted @ 2016-11-21 17:39 wangq17 阅读(1376) 评论(0) 推荐(0) 编辑
2016年11月5日
hadoop运维经验
摘要： 0、优化：http://dongxicheng.org/mapreduce/hadoop-optimization-0/ http://dongxicheng.org/mapreduce/hadoop-optimization-1/ 1、各个节点的配置文件的内容要一致：core|hdfs|mapre 阅读全文
posted @ 2016-11-05 08:38 wangq17 阅读(848) 评论(0) 推荐(0) 编辑
2016年10月23日
Hadoop之Hive(2)--配置Hive Metastore
摘要： Hive metastore服务以关系性数据库的方式存储Hive tables和partitions的metadata,并且提供给客户端访问这些数据的metastore service的API。下面介绍一下Metastore部署的三种模式 Hive metastore服务以关系性数据库的方式存储Hi 阅读全文
posted @ 2016-10-23 15:30 wangq17 阅读(845) 评论(0) 推荐(0) 编辑
2016年10月18日
Hadoop笔记HDFS(2)
摘要： 高级Hadoop MapReduce管理 1 调试部署好的Hadoop的配置 2 运行基准测试检验Hadoop的安装 3 重新利用JVM提升性能 4 容错性 5 调试脚本-分析失败任务原因 6 设置失败比例以及忽略无效的记录 7 共享型用户Hadoop集群 8 Hadoop的安全性 9 使用Hado 阅读全文
posted @ 2016-10-18 22:39 wangq17 阅读(252) 评论(0) 推荐(0) 编辑
2016年10月17日
Hadoop笔记HDFS(1)
摘要： 环境：Hadoop2.7.3 1、Benchmarking HDFS 1.1测试集群的写入 运行基准测试是检测HDFS集群是否正确安装以及表现是否符合预期的好方法。DFSIO是Hadoop自带的一个基准测试程序，可以用来分析HDFS集群的I/O能力 脚本： $HADOOP_HOME/bin/hado 阅读全文
posted @ 2016-10-17 23:12 wangq17 阅读(380) 评论(0) 推荐(0) 编辑
2016年10月15日
简单的计算最值的MapReduce程序
摘要： import java.io.IOException;import java.util.StringTokenizer;import java.util.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs 阅读全文
posted @ 2016-10-15 19:24 wangq17 阅读(243) 评论(0) 推荐(0) 编辑
Hadoop安装指引
摘要： 环境： Ubuntu16.04 机器： 192.168.1.105 namenode 192.168.1.102 datanode1 0、配置节点信息 sudo gedit /etc/hosts #加入下面的信息 192.168.1.105 namenode 192.168.1.102 datano 阅读全文
posted @ 2016-10-15 19:08 wangq17 阅读(200) 评论(0) 推荐(0) 编辑
Jeff Dean
摘要： ”——出自“关于 Jeff Dean 的事实” 其实，“关于 Jeff Dean 的事实”这个G+ 帖中描述的并非是真实的。不过有人大费周折为他建立了一个类似于“关于 Chuck Norris 的事实”这样的网站，这倒是件不同寻常的事。 这是因为 Jeff Dean 是一位软件工程师，而软件工程师们 阅读全文
posted @ 2016-10-15 19:06 wangq17 阅读(344) 评论(0) 推荐(0) 编辑