任性的大萝卜

摘要： input：读取数据 map：将整个任务分割成多个task，每个task处理一部分数据 shuffle：对数据进行分区、排序、分组 reduce：将所有分割的任务的处理结果进行合并 output：将整个程序的结果进行输出 例如：文本中含有数据 hadoop hive hbase hadoop hiv 阅读全文

摘要： 因为HBase是列式存储的nosql，宽表是指很多列较少行，即列多行少的表，一行中的数据量较大，行数少，而高表是指很多行较少列，即行多列少，一行中的数据量较少，行数大。 经过查询，总结出如下结论： 高表优势：查询性能更好 因为查询条件都在row key中，而高表的行数据较少，所以查询缓存BlockC 阅读全文

摘要： 在MySQL的安装中，出现了原有权限无法删除的情况。经过研究，需要按照以下步骤手动删除权限。 1.启动MySQL服务，service mysqld start 2.进入mysql数据库，use mysql; 3.查找host、user， select host,user from user; 4.进 阅读全文

摘要： 1.进入到，/opt/cdh-5.7.6/hive-1.1.0-cdh5.7.6/conf，目录中编辑hive-site.xml文件 2.添加参数： <!--指定要连接的数据库--> <property> <name>javax.jdo.option.ConnectionURL</name> <va 阅读全文

摘要： 1.检查当前环境是否已安装MySQL rpm -qa | grep mysql 2.安装MySQL yum install -y mysql-server3.启动MySQL服务 service mysqld start4.设置MySQL管理员用户的密码 mysqladmin -u root pass 阅读全文

摘要： 1.下载解压，tar -zxvf /opt/tools/hive-1.1.0-cdh5.7.6.tar.gz -C /opt/cdh-5.7.6/ 2.修改配置文件，在conf文件目录下，去掉template启用hive-env.sh mv hive-env.sh.template hive-env 阅读全文

摘要： 1.下载 sqoop-1.4.6-cdh5.7.6.tar.gz 2.在linux中进行安装， tar -zxvf /opt/tools/spark-1.6.1-bin-2.6.0-cdh5.7.6.tgz -C /opt/cdh-5.7.6/ 3.进入sqoop安装目录，我装在/opt/cdh-5 阅读全文