随笔分类 - Hadoop
摘要：问题：我用 sqoop 把 Mysql 中的数据导入到 hive，使用了--delete-target-dir --hive-import --hive-overwrite 等参数，执行了两次。 mysql 中只有 20 条记录。在 hive shell 中，查询导入到的表的记录，得到结果 20 条
阅读全文
摘要：YARN 中有三种调度器： 1. FIFO 调度器 (FIFO Scheduler) 应用在一个队列中，按照提交的顺序运行应用。 缺点：小作业如果在大作业后面提交，将会一直等到大作业结束才运行。 2. 容量调度器 (Capacity Scheduler) 有一个独立的专门队伍保证小作业一提交就可以启
阅读全文
摘要：以下说明均以集群中 slave 结点的配置为 48G内存，12块硬盘，12核(core) CPU 为例。 在 Yarn 中，一个 Container 是一个基础的包含内存和CPU 的单元。为了较好的平衡利用集群的资源，通常建议每块磁盘和每个core 分配1~2 个 container。所以在上面的配
阅读全文
摘要：看了Hadoop的一个7天视频教程，里面给出了搭建的详细步骤，教程中是按2.4.1版本搭建的，我用的是2.7.3版本，好像没什么差别。下面是抄过来的，加了一点注释。 hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN
阅读全文
摘要：我的eclipse是在win7上，hadoop在win7里的虚拟机里的ubuntu上，为了方便起见，想在eclipse上安装hadoop的插件，主要参考 https://my.oschina.net/muou/blog/408543，上面写得蛮详细的，对于里面提到的问题二，提供下载的 hadoop.
阅读全文
摘要：配置本地ssh免密码登陆，遇到很奇怪的问题，原来在公司电脑上，是按照 http://blog.csdn.net/hackerwin7/article/details/28109073 这里说的配置的，结果是可以的。可是今天在家里电脑上搞，可是怎么也搞不起来。网上查了很多，无非就是authorized
阅读全文
