2019年8月17日

CDH6.2扩容

摘要: 参考: yum方式扩容: https://www.cnblogs.com/yinzhengjie/articles/11104776.html 二进制包方式扩容: https://www.cnblogs.com/yinzhengjie/articles/11102924.html CDH5.12扩容 阅读全文

posted @ 2019-08-17 21:19 锋锋2019 阅读(1114) 评论(0) 推荐(0) 编辑

hive udf编程教程

摘要: hive udf编程教程 https://blog.csdn.net/u010376788/article/details/50532166 Hive自定义UDF的JAR包加入运行环境的方法: https://blog.csdn.net/fjssharpsword/article/details/7 阅读全文

posted @ 2019-08-17 19:10 锋锋2019 阅读(243) 评论(0) 推荐(0) 编辑

数据仓库—初版

摘要: 参考: https://aws.amazon.com/cn/redshift/pricing/?sc_channel=PS&sc_campaign=acquisition_CN&sc_publisher=baidu&sc_category=pc&sc_medium=redshift_nb&sc_co 阅读全文

posted @ 2019-08-17 19:06 锋锋2019 阅读(279) 评论(0) 推荐(0) 编辑

清理回收站和恢复数据

摘要: 查看文件块数命令:hdfs fsck / -blocks HDFS垃圾回收站, 默认是0,单位是分钟,实验设置为1天即1440. core-site.xml <property> <name>fs.trash.interval</name> <value>1440</value> </propert 阅读全文

posted @ 2019-08-17 10:47 锋锋2019 阅读(400) 评论(0) 推荐(0) 编辑

2019年8月16日

ucloud相关

摘要: ucloud申请证书 https://docs.ucloud.cn/domain/ussl/operate/buy 云主机: https://docs.ucloud.cn/compute/uhost/introduction/concept SSD和普通disk比较: https://docs.uc 阅读全文

posted @ 2019-08-16 20:16 锋锋2019 阅读(217) 评论(0) 推荐(0) 编辑

hadoop3.1.2队列

摘要: hapood3.1.2 capacity-scheduler.xml CDH6.2 在配置中输入fair,转成json格式看. yarn资源池配置: CDH--yarn--动态资源池配置 pool_day: pool_night: 抢占: 介于 0 和 1 之间的值。如果该值设置为 x,且资源池的公 阅读全文

posted @ 2019-08-16 19:07 锋锋2019 阅读(286) 评论(0) 推荐(0) 编辑

2019年8月15日

aws技术链接

摘要: S3: https://docs.aws.amazon.com/s3/?id=docs_gateway emrfs: https://docs.aws.amazon.com/emr/latest/ManagementGuide/clone-console.html 缩小ebs容量: https:// 阅读全文

posted @ 2019-08-15 16:21 锋锋2019 阅读(158) 评论(0) 推荐(0) 编辑

hadoop3.1.2启动和停止

摘要: 1/ 启动 启动zookeeper: 三个节点上都zkServer.sh start 启动hdfs和yarn: 101上start-dfs.sh 102上start-yarn.sh 启动hive: 101上hive 再开一个101的窗口 hiveserver2 & beeline -u jdbc:h 阅读全文

posted @ 2019-08-15 10:07 锋锋2019 阅读(447) 评论(0) 推荐(0) 编辑

2019年8月14日

flink部署

摘要: 参考: https://ververica.cn/developers-resources/ #flink参数 https://blog.csdn.net/qq_35440040/article/details/84992796 spark使用批处理模拟流计算 flink使用流框架模拟批计算 htt 阅读全文

posted @ 2019-08-14 19:12 锋锋2019 阅读(1415) 评论(0) 推荐(0) 编辑

mysql基本命令

摘要: systemctl start mysqld.service systemctl enable mysqld.service systemctl stop mysqld.service #查看当前是哪个库 select database() #查看授权情况 select user,host from 阅读全文

posted @ 2019-08-14 17:50 锋锋2019 阅读(93) 评论(0) 推荐(0) 编辑

导航