摘要：
一、预处理阶段 二、Map阶段 一个Map任务被JobTracker(管家)分配到多个TaskTracker(弟弟)执行,如下图所示，弟弟的map()只负责拆分，虽然map()输出两个相同的键值对，但它并不会对两个重复的键值对进行合并，而且输出的键值对也是无序的，没有按照字母顺序排列。而这些工作都会 阅读全文
摘要：
~/.bashrc:该文件包含专用于某个用户的bash shell的bash信息,当该用户登录时以及每次打开新的shell时,该文件被读取. /etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量,他们是" 阅读全文
摘要：
一、问题描述 在用sqoop连接mysql时，会报错如下图所示，原因是mysql在默认情况下是使用了auth_socket plugin进行认证，即每次登陆都需要sudo mysql -u localhost -p， sqoop命令中是不能识别sudo关键字的，所以需要去掉sudo关键字连接mysq 阅读全文
摘要：
一、问题描述 1.由于当前集群没有配置Zookeeper、hcatalog、accumlo,因此应该在sqoop的配置文件中注释掉判断Zookeeper、hcatalog、accumlo路径是否正确的代码。 2.由于sqoop-1.4.5 之后的版本没有sqoop.*.*.*.jar包，因此需要手动 阅读全文