12 2018 档案
摘要：with tmp1 as ( select t1.day ,t1.value ,row_number() over(order by t1.day) as rn from ( select '2015-01-01' as day, 1 as value union all select '201...
阅读全文
摘要：### 读取hive的表结构，生成带comment的视图建表语句 # 读取配置文件中的表并进行遍历 grep -v '^#' tablesFile|while read tableName do status=1 viewName=$(echo ${tableName}|sed "s/^dwd_/dwd_cms_out_l_/i"|sed "s/^dws_/dws_cms_o...
阅读全文
摘要：问题描述：使用正确的用户名和密码可以登录到Git代码仓库，但是在本地无法使用Git bash命令行的方式拉取代码。 问题原因：第一次使用Git bash方式拉取代码时，会根据当前的用户和密码生成一串.ssh的密钥，由于每三个月会要求更换一次密码，导致之前生成的密钥无法跟最新的密码匹配，所以出现了可以
阅读全文
摘要：在git push的时候，有时候我们会想办法撤销git commit的内容 1、找到之前提交的git commit的id git log 找到想要撤销的id 2、git reset –hard id 完成撤销,同时将代码恢复到前一commit_id 对应的版本 3、git reset id 完成Co
阅读全文
摘要：1. 数据序列化 a. 使用Kryo序列化 conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")2. 内存调整 a. 如何确定对象的内存使用情况 spark.memory.fraction = 0.6 /
阅读全文
摘要：## step 1 :初始化空库 [root@vm_test backup]# mkdir devops [root@vm_test backup]# cd devops/ [root@vm_test devops]# git init #初始化空库 ## step 2 : 拉取remote的all objects信息 [root@vm_test dev...
阅读全文
摘要：git clone git://github.com/mobz/elasticsearch-head.git yum install git npm cd elasticsearch-head npm install -g grunt --registry=https://registry.npm.taobao.org npm config set strict-ssl false ...
阅读全文
摘要：Spark2.3.0依赖的netty-all-4.1.17.Final.jar 与 hbase1.2.0依赖的netty-all-4.0.23.Final.jar 冲突 Ref: https://blog.csdn.net/liumu243/article/details/81111273
阅读全文
摘要：定位: HIVE：长时间的批处理查询分析 impala:实时交互式SQL查询 impala优缺点优点： 1. 生成执行计划树，不用多次启动job造成多余开销，并且减少中间结果数据写入磁盘，执行速度快 2. 不占用yarn的资源 3. 缺点： 1. 不支持Date类型 2. 与HIVE数据不同步，需要
阅读全文
摘要：return code 2 为SQL报错。 return code 1 一般为权限问题。 具体要看源码。
阅读全文
摘要：-- 重点，目标表无重复数据 从结果可以看出，在无重复数据的情况下，parquet的压缩无用武之地，占用空间比textfile还大，ORC是压缩最强的文件模式。
阅读全文
