hive排错
摘要：
找出错的那个hive实例，看错误日志： 点下面stdout，找Error 阅读全文
posted @ 2019-08-21 12:20 锋锋2019 阅读(154) 评论(0) 推荐(0) 编辑
调优
摘要：
见: 笔记 hdfs调优;dfs.socket.timeout 3000 480000dfs.datanode.socket.write.timeout 3000 480000dfs.replication 副本改为2dfs.blocksize 16M 128M 又调回16M ,几百K小文件多dfs 阅读全文
posted @ 2019-08-21 12:19 锋锋2019 阅读(731) 评论(1) 推荐(0) 编辑
mysql-jdbc connector
摘要：
mysql-jdbc connector: https://dev.mysql.com/downloads/connector/j/ 目录： /usr/share/java/mysql-connector-java.jar impala jdbc https://my.oschina.net/hus 阅读全文
posted @ 2019-08-20 18:17 锋锋2019 阅读(312) 评论(0) 推荐(0) 编辑
bi的tableau
摘要：
参考: 官网: https://help.tableau.com/current/server-linux/zh-cn/get_started_server.htm 可视化分析最佳做法： 实用指南 https://www.tableau.com/zh-cn/learn/whitepapers/tab 阅读全文
posted @ 2019-08-20 14:27 锋锋2019 阅读(458) 评论(0) 推荐(0) 编辑
CDH日常运维
摘要：
1/ 作业有问题: 查log,没log再跑一次查log. 如果没有log的情况,比如hiveserver2挂了,查strr. 2/ 查集群名字 #看hdfs集群的名字,在cdh的hdfs配置中查:nameservice 3/ 添加角色 主机--角色，可以看各节点角色 添加，比如hdfs角色，可以选h 阅读全文
posted @ 2019-08-20 13:03 锋锋2019 阅读(1205) 评论(0) 推荐(0) 编辑
aws S3
摘要：
查看：bi-kafka3 aws s3 ls s3://opay-bi 阅读全文
posted @ 2019-08-20 11:39 锋锋2019 阅读(113) 评论(0) 推荐(0) 编辑
ucloud建新主机
摘要：
系统盘默认20G，可调到40不增加费用。需建好主机后关机才能更改。 root密码按统一的设 设好主机名，选好分组 阅读全文
posted @ 2019-08-20 10:11 锋锋2019 阅读(107) 评论(0) 推荐(0) 编辑
hdfs-yarn大数据常用命令
摘要：
一, yarn 7:50-8点这段时间没有任务 8-1.10 collect的作业多 8.30-9点大作业 #查看yarn的环境变量设置: yarn envvarsWARNING: YARN_OPTS has been replaced by HADOOP_OPTS. Using value of 阅读全文
posted @ 2019-08-19 08:49 锋锋2019 阅读(1221) 评论(0) 推荐(0) 编辑
CDH5.X文档
摘要：
属性参数 https://www.cloudera.com/documentation/enterprise/properties.html 阅读全文
posted @ 2019-08-17 23:00 锋锋2019 阅读(232) 评论(0) 推荐(0) 编辑
CDH6.2官方文档
摘要：
文档总览: https://www.cloudera.com/documentation/enterprise/6/6.2.html 官方api: https://www.cloudera.com/documentation/enterprise/6/6.2/topics/cloudera_mana 阅读全文
posted @ 2019-08-17 22:16 锋锋2019 阅读(3177) 评论(0) 推荐(1) 编辑
