./spark-sql --conf spark.driver.maxResultSize=8g --driver-memory 20g --conf spark.kryoserializer.buffer.max=1G --conf spark.kryoserializer.buer=64m 测试 Read More
hive on spark真的很折腾人啊!!!!!!! 一.软件准备阶段 maven3.3.9 spark2.0.0 hive2.3.3 hadoop2.7.6 二.下载源码spark2.0.0,编译 下载地址:http://archive.apache.org/dist/spark/spark-2 Read More
1、开启hive作业mapreduce任务中间压缩功能： 对于数据进行压缩可以减少job中map和reduce task间的数据传输量。对于中间数据压缩，选择一个低cpu开销编/解码器要不选择一个压缩率高的编解码器重要很多。hadoop压缩的默认编解码器是DefaultCodec，可以通过设置参数m Read More
1、hive中控制并行执行的参数有如下几个： $ bin/hive -e set | grep parall hive.exec.parallel=false hive.exec.parallel.thread.number=8 hive.stats.map.parallelism=1 其中：hiv Read More
一、调整hive作业中的map数 1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改) Read More
先开启服务端： nohup hive --service metastore & nohup hive --service hiveserver2 & 进入beeline： beeline -u jdbc:hive2://localhost:10000 -n root -p diagbot#### Read More
1、错误如下： Last login: Thu Jul 26 09:04:14 2018 from 192.168.3.250[root@diagbot01 ~]# yum -y install dos2unixLoaded plugins: fastestmirror, refresh-packa Read More
需求：把a服务器上mysql数据迁移到b服务器上mysql中。 1、下载datax: https://github.com/alibaba/DataX 2.解压tar -zxvf datax.tar.gz 3.编辑作业文件 diag.json { "job": { "content": [ { "r Read More
要求：计算hasgj表，计算每天新增mac数量。 因为spark直接扫描hbase表，对hbase集群访问量太大，给集群造成压力，这里考虑用spark读取HFile进行数据分析。 1、建立hasgj表的快照表：hasgjSnapshot 语句为：snapshot 'hasgj','hasgjSnap Read More
spark提交任务报错： java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
spark提交任务报错： java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 对jar包执行：zip -d ztoTest1.jar META-INF/*.RSA META-I Read More