摘要：
flink1.12 hadoop kafka hbase zookeeper redis 阅读全文
摘要：
hive查询表大小 查询表在hdfs的地址 show create table xxx 查询表大小 hdfs dfs -du -h 查询表的格式（内部表还是外部表、表的存储格式） desc formatted iocgjk_new.o_ls_kcw_t_kcw_xtcx_gjgdyjpt102593 阅读全文
摘要：
https://blog.csdn.net/join_null/article/details/108264010?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default- 阅读全文
摘要：
-- 删除分区 alter table employee_table drop partition (stat_year_month>='2018-01'); 修复分区、删除分区、添加分区、显示分区 MSCK REPAIR TABLE table_name; https://www.cnblogs. 阅读全文
摘要：
问题 修改分区表的列（添加列）但是查询数据为null 原因 修改分区表导致分区字段元数据出问题，需要更新分区信息 解决方法1：修改元数据 https://blog.csdn.net/gxd520/article/details/92791487?utm_medium=distribute.pc_re 阅读全文
摘要：
hive通过with创建临时表 overwrite重新分区表 阅读全文
摘要：
hive-load上传数据到hive表 hive表数据导出到本地为csv hive -e "set hive.cli.print.header=true; #将表头输出 select * from data_table where some_query_conditions" | sed 's/[\ 阅读全文
摘要：
ModuleNotFoundError: No module named 'pymysql'解决方法更新conda [root@star /root/anaconda3/bin]#conda update conda 安装模块[root@star /root/anaconda3/bin]#conda 阅读全文
摘要：
018.hive-hive两个表leftjoin，由于关联字段类型不同导致的数据错误（bigint、string） select b1.member_id b1,b2.member_id b2 from tmp1_ads_cstm_member_balance b1 left join tmp2_a 阅读全文
摘要：
解决办法 SELECT * FROM A WHERE IFNULL(B1,'') != 1 原始数据 不等于过滤某个值，把null也过滤掉了 解决办法为null时临时复制'' 阅读全文
摘要：
解压文件 D:\bigdata\spark2.1.0\spark-2.1.0-bin-hadoop2.7\bin 创建文件 spark scalahadoop scalascala sparkhive hadoop bin目录下 spark-shell.cmd 读文件处理文件 scala> sc.t 阅读全文
摘要：
resources下 log4j.properties 文件 log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target 阅读全文
摘要：
show databases; show tables; 系统自带的函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function exte 阅读全文
摘要：
spark下 [root@s101 /soft/spark/bin]#./beeline Beeline version 1.2.1.spark2 by Apache Hive beeline> !connect jdbc:hive2://s101:10000/mydb 0: jdbc:hive2: 阅读全文
摘要：
hive--lead()上浮、lag()下沉--求同比 select occur_period ,occur_period_year ,occur_period_month ,org_name ,people_num ,people_num_2 -- （今年这个月人数 - 去年这个月人数）/去年这个 阅读全文