摘要：
阅读全文
摘要：
select distinct trim(user_id),create_time from ods_logs_to_hive_orc.ecd_app_main_1; 多字段去重，与单字段去重一样，在后面追加就行。 distinct user_id,create_time sql语法中直接去除两头空 阅读全文
摘要：
存储过程代码： CREATE OR REPLACE PROCEDURE dm_rpt.rpt_consultation_community (tt1 in timestamp) /* * 作者：sunsong * 时间：2020-04-02 * 数据来源：ods_evonesns_orc.sgcc_ 阅读全文
摘要：
通过 88.88.20.15 的 3300 端口访问 80.80.99.3 的 3306 端口，在 88.88.20.15 上设置： sysctl -w net.ipv4.ip_forward=1 iptables -t nat -A PREROUTING -p tcp --dport 3300 - 阅读全文
摘要：
#判断json中是否有值这个key，有就返回value。没有就返回NULL。 #传入两个参数，$1是key名，$2是整个一行json。 fun_col(){ echo $2 > col1 col=`cat col1|grep $1 |wc -l` if [ $col != 0 ];then valu 阅读全文
摘要：
hive导出一份.csv格式的文件导linux没有问题，但是拿取导windows打开就乱码了。 乱码肯定是编码的问题, 原因：linux文件是UTF8的,百度才知道,windows下打开 csv 是 GBK 格式的。 linux下shell命令 #cp一份UTF-8的file.csv改名为 GBK格 阅读全文
摘要：
1.用insert，写到hdfs目录下，但是目录好像要由hive用户创建才可以，否则会报错 INSERT OVERWRITE DIRECTORY '/tmp/test1029_tmp' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * fr 阅读全文
摘要：
1、count distinct 优化 --优化前 select count(distinct id )from tablename --优化后 select count(1) from (select distinct id from tablename)tmp; select count(1) 阅读全文
摘要：
报错原因：直接能看出来是需要配置ecure-file-priv参数。 2019-12-13 1.参数值对应限制。 mysql>SHOW VARIABLES LIKE "secure_file_priv"; secure_file_prive=null -- 限制mysqld 不允许导入导出 secu 阅读全文
摘要：
linux移动当前目录下的所有目录到其他目录 #/mnt/disk1是最后被移动到的目录ls -d ./*/ |xargs -I {} mv {} /mnt/disk1/ ./*/ 表示的是查看当前目录所有目录。如果选择其他目录，自己换其他目录。eg: /mnt/disk2/*/ 阅读全文