摘要： 一、hive的随机抓取策略 可以通过 set hive.fetch.task.conversion查看抓取模式默认是more有以下三种模式 none 所有涉及hdfs的读取查询都走mapreduce任务 mininal 在进行简单的select *，简单的过滤或涉及分区字段的过滤时走mr more 阅读全文

摘要： 1、下载安装包并上传到Linux，然后解压 2、配置环境变量 vim /etc/profile 增加下面配置 export HBASE_HOME=/usr/local/soft/hbase-2.2.7 export PATH=$PATH:$HBASE_HOME/bin 3、加载环境变量 source 阅读全文

摘要： 一、shell交互Hive，用命令hive启动一个hive的shell命令行，在命令行中输入sql或者命令来和Hive交互 首先在主节点上启动Hadoop集群，再启动hive元数据服务 启动hadoop start-all.sh 启动hive元数据服务 nohup hive --service me 阅读全文

摘要： 1、下载安装包 下载hive https://archive.apache.org/dist/hive/ 下载MySQL驱动包 https://mirrors.huaweicloud.com/mysql/Downloads/Connector-J/ 2、上传到Linux并解压 tar -zxvf a 阅读全文

摘要： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T 阅读全文

摘要： package com.wll.dianxin; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; impo 阅读全文

摘要： 逻辑切片 1、逻辑切片对block块进行切分，切分的结果将影响map任务的数量 2、split切片的大小默认是128M，与block块大小一样，一个block块会有一个切片 3、如果读取到最后一个block块时会与前一个block进行合并，合并后的大小如果大于1281.1将会各自生成一个切片，合并后 阅读全文

摘要： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T 阅读全文

摘要： 统计文件中英文单词出现的次数 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apa 阅读全文

摘要： 最终每个节点上的进程 ZK NN DN JN ZKFC master １ １ １ １ ｎｏｄｅ1 １ １ １ １ １ ｎｏｄｅ２ １ １ １ １、防火墙 service firewalld stop ２、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 阅读全文