摘要：
1.创建 orc 格式 hive表 CREATE TABLE IF NOT EXISTS order_user_all ( renter_id int COMMENT '用户id', order_q int COMMENT '近90天订单数',pay_normal_all double COMMEN 阅读全文
摘要：
一、使用alter table change column 命令直接修改 alter table mini_program_tmp_month_on_month change column month_on_month_reading month_on_month_reading 二、如果表中已经有 阅读全文
摘要：
hive -e " set hive.cli.print.header=true; //获取列名 Select * from $line;" | sed 's/\t/,/g' > $line.csv //utf-8格式 \t为分隔符 iconv -f UTF-8 -c -t GBK ./$line. 阅读全文
摘要：
测试程序：原来运行环境是 升级后的运行环境 执行在低版本环境的程序 1.首先将高版本的pom文件修改、 2.在将resource配置文件配置 然后执行程序 报错 首先追踪错误代码行APP 45行。 是sparkSQL读hive仓库的表 最后一个报错代码说： 无法识别的hadoop主版本号 然后就在考 阅读全文
摘要：
因为部门集群与公司mongo集群是不在同一集群上，但是在同一内网，所以应该是正常可以访问。 1.确保两个集群之间是可以互相访问的 使用telnet命令 可以正常通信 2.通过mongo shell 测试连接 两种连接方式： mongo -u test -p test --host 127.0.0.1 阅读全文
摘要：
抛错，说日志没有聚合， 解决方法， 是因为/tmp/logs/root/logs 这个路径不存在， 所以在hdfs上创建路径应该就可以了。 [ root@iZbp15fg3f6yd73afpeya8Z logs]# cat yarn.log /tmp/logs/root/logs/applicati 阅读全文
摘要：
报错日志如下： 意思是：没有合适的驱动， 按道理来说，如果找不到Java的driver驱动应该会报错为：class not found mysql.jdbc.driver 。 但是不知道为啥报错这个。 解决方法：在脚本中添加--driver-class-path 指定mysql-connection 阅读全文
摘要：
1.order by order by和其他sql一样对查询结果集执行一个全局排序，也就是说会有一个所有的数据都通过一个reducer进行处理的过程会消耗大量时间来执行 Ex: select * from renter_info order by create_time desc ; 2.sort 阅读全文