上一页 1 ··· 7 8 9 10 11 12 13 14 下一页
2019年3月4日
hive的简介
摘要： Hive Apache的顶级项目 官网： hive.apache.org 原来是hadoop里的一个子项目，后来脱离出来成为一个顶级项目。 github.com/apache/hive 这是源码地址，它是开源的，你可以对其进行代码改进，提交给社区，社区采用以后会合并进代码中 hive是一个构建在ha 阅读全文
posted @ 2019-03-04 21:46 任重而道远的小蜗牛 阅读(273) 评论(0) 推荐(0) 编辑
hive的部署
摘要： 安装之前准备：启动hadoop和mysql 用管理hadoop的用户进行以下操作 1）下载wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz（hadoop的家目录下进行） 2）解压到~/app 进入到hadoo 阅读全文
posted @ 2019-03-04 21:13 任重而道远的小蜗牛 阅读(309) 评论(0) 推荐(0) 编辑
2019年3月1日
top命令信息
摘要： 12.通过top命令我们可以知道哪些内容 !! load average: 0.00, 0.01, 0.05 这3个值最好都不要超过10（经验） 如果超过10就是不正常 需要查一下 VIRT：virtual memory usage 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2 阅读全文
posted @ 2019-03-01 17:06 任重而道远的小蜗牛 阅读(416) 评论(0) 推荐(0) 编辑
web界面解读
摘要： web界面 在hosts文件都配备齐全以后就可以通过web来查看后台运行了 在浏览器输入外网ip加端口号 47.110.74.23:50070 就可以打开hadoop界面 如果在window的hosts文件里有配置 也可以hadoop001：50070 也可以打开web界面 打开以后就是这样 我们住 阅读全文
posted @ 2019-03-01 17:02 任重而道远的小蜗牛 阅读(697) 评论(0) 推荐(0) 编辑
wc的shuffle
摘要： MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。 shuffle是介于map和reduce之间的一一步，需要经过网络来实现。 shu 阅读全文
posted @ 2019-03-01 17:00 任重而道远的小蜗牛 阅读(122) 评论(0) 推荐(0) 编辑
MR的常用命令
摘要： [hadoop@hadoop001 ~]$ mapred jobUsage: CLI <command> <args> [-submit <job-file>] [-status <job-id>] [-counter <job-id> <group-name> <counter-name>] [- 阅读全文
posted @ 2019-03-01 15:36 任重而道远的小蜗牛 阅读(523) 评论(0) 推荐(0) 编辑
YARN的三种调度器
摘要： 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能得到相应的资源。在YARN中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。 阅读全文
posted @ 2019-03-01 11:06 任重而道远的小蜗牛 阅读(591) 评论(0) 推荐(0) 编辑
yarn资源管理
摘要： 在TARN中，资源管理由RescoueceManager和NodeManager共同完成，其中，Resourcemanager中的调度器负责资源分配，而NodeManager则负责资源的供给和隔离。 ResourceManager将某个Nodemanager上资源分配给任务（这就是所谓的资源调度）后 阅读全文
posted @ 2019-03-01 10:08 任重而道远的小蜗牛 阅读(1901) 评论(0) 推荐(0) 编辑
2019年2月28日
yarn的架构设计
摘要： 注释： mr job执行流程 mr on yarn架构 yarn架构设计 这三种叫法是同一个问题 YARN =Yet Another Resource Negotiator 1.用户向yarn提交应用程序(job)，其中包括applicationMaster程序、启动applicationMaste 阅读全文
posted @ 2019-02-28 10:02 任重而道远的小蜗牛 阅读(209) 评论(0) 推荐(0) 编辑
2019年2月26日
yarn的web界面查看log时出现的问题
摘要： java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all. 参考：https://bl 阅读全文
posted @ 2019-02-26 17:33 任重而道远的小蜗牛 阅读(5636) 评论(0) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11 12 13 14 下一页