hadoop2.x 常用端口及定义方法
摘要：一 常用端口号 1 HDFS 2 YARN 3 HBase 4 Hive 5 ZooKeeper 二 Web UIHTTP服务 1 对于存在 Web UIHTTP服务的所有 hadoop daemon 有如下 url 2 特定的 Daemon 又有特定的 URL 路径特定相应信息 一 常用端口号 1
阅读全文
posted @ 2018-06-02 11:16
随笔分类 - hadoop
Hadoop调度框架
摘要：大数据协作框架是一个桐城，就是Hadoop2生态系统中几个辅助的Hadoop2.x框架。主要如下： 1，数据转换工具Sqoop 2，文件搜集框架Flume 3，任务调度框架Oozie 4，大数据Web工具Hue 任务调度框架 1，Linux Crontab 2，Azkaban –https://az
阅读全文
posted @ 2018-06-01 18:34
转】用Maven构建Hadoop项目
摘要：用Maven构建Hadoop项目 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog,
阅读全文
posted @ 2018-06-01 18:09
MapReduce 开发环境搭建（Eclipse\MyEclipse + Maven）
摘要：写在前面的话 可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） Hive项目开发环境搭建（Eclipse\MyEclipse + Maven） 我这里，相信
阅读全文
posted @ 2018-06-01 17:57
Hadoop项目开发环境搭建（Eclipse\MyEclipse + Maven）
摘要：写在前面的话 可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） Hive项目开发环境搭建（Eclipse\MyEclipse + Maven） MapRed
阅读全文
posted @ 2018-06-01 17:56
如果遇到Hadoop集群正常，MapReduce作业运行出现错误，如何来查看作业运行日志（图文详解）
摘要：这个时候我们可以进入logs下的userlogs 备注：userlogs目录下有很多个以往运行的作业，我选择最新的最大编号的作业，就是我们当前运行作业的日志。然后找到stderr stdout syslog文件，stderr为作业错误日志，stdout作业输出日志，syslog为系统日志
阅读全文
posted @ 2018-05-31 13:37
Hadoop概念学习系列之Hadoop集群动态增加新节点或删除已有某节点及复制策略导向
摘要：hadoop-2.6.0动态添加新节点 https://blog.csdn.net/baidu_25820069/article/details/52225216 Hadoop集群动态增加新节点 一、在新增节点配置运行环境 1、安装和其他节点相同的java环境，jdk版本要相同。 2、修改/etc/
阅读全文
posted @ 2018-05-31 13:32
Hadoop概念学习系列之Java调用Shell命令和脚本，致力于hadoop/spark集群
摘要：前言 说明的是，本博文，是在以下的博文基础上，立足于它们，致力于我的大数据领域！ http://kongcodecenter.iteye.com/blog/1231177 http://blog.csdn.net/u010376788/article/details/51337312 http://
阅读全文
posted @ 2018-05-31 11:45
用Hadoop构建电影推荐系统
摘要：用Hadoop构建电影推荐系统 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, O
阅读全文
posted @ 2018-05-31 11:43
大牛博客！Spark / Hadoop / Kafka / HBase / Storm
摘要：在这里，非常感谢下面的著名大牛们，一路的帮助和学习，给予了我很大的动力！ 有了Hadoop，再次有了Spark，一次又一次，一晚又一晚的努力相伴！ HBase简介（很好的梳理资料） 1、 博客主页：http://jiajun.iteye.com/ 2、博客主页：http://www.cnblogs.
阅读全文
posted @ 2018-05-31 11:23
hadoop-2.6.0.tar.gz的集群搭建（3节点）（不含zookeeper集群安装）
摘要：关于几个疑问和几处心得！ a.用NAT，还是桥接，还是only-host模式？ 答： hostonly、桥接和NAT b.用static的ip，还是dhcp的？ 答：static c.别认为快照和克隆不重要，小技巧，比别人灵活用，会很节省时间和大大减少错误。 d.重用起来脚本语言的编程，如payth
阅读全文
posted @ 2018-05-31 11:05
hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装）
摘要：关于几个疑问和几处心得！ a.用NAT，还是桥接，还是only-host模式？ 答： hostonly、桥接和NAT b.用static的ip，还是dhcp的？ 答：static c.别认为快照和克隆不重要，小技巧，比别人灵活用，会很节省时间和大大减少错误。 d.重用起来脚本语言的编程，如payth
阅读全文
posted @ 2018-05-31 11:02
Hadoop概念学习系列之Hadoop、Spark学习路线（很值得推荐）
摘要：1 Java基础： 视频方面： 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。 书籍方面： 推荐李兴华的《java开发实战经典》 2 Linux基础： 视频方面： （
阅读全文
posted @ 2018-05-31 10:58
Hadoop概念学习系列之Hadoop 生态系统
摘要：当下 Hadoop 已经成长为一个庞大的生态体系，只要和海量数据相关的领域，都有 Hadoop 的身影。下图是一个 Hadoop 生态系统的图谱，详细列举了在 Hadoop 这个生态系统中出现的各种数据工具。 这一切，都起源自 Web 数据爆炸时代的来临。Hadoop 生态系统的功能以及对应的开源工
阅读全文
posted @ 2018-05-31 10:55
