锋锋2019

修改服务器系统时间(包括hive)

摘要： #修改服务器时区 https://yq.aliyun.com/articles/359597?spm=5176.10695662.1996646101.searchclickresult.3cb0467d1LBm6Rrm -rf /etc/localtimeln -s /usr/share/zone 阅读全文

posted @ 2019-12-26 21:43 锋锋2019 阅读(1176) 评论(0) 推荐(0) 编辑

队列原理

摘要：官网: https://hadoop.apache.org/docs/r2.8.5/hadoop-yarn/hadoop-yarn-site/FairScheduler.html 参数: https://hadoop.apache.org/docs/r2.8.5/hadoop-yarn/hadoop 阅读全文

posted @ 2019-12-26 17:36 锋锋2019 阅读(550) 评论(0) 推荐(0) 编辑

EMR目录

摘要： EMR链接: 手动重启服务: E-MapReduce 集群运维指南 https://help.aliyun.com/document_detail/54465.html?spm=5176.11065259.1996646101.searchclickresult.67745bbe5lSLPA 例:批阅读全文

posted @ 2019-12-21 18:34 锋锋2019 阅读(564) 评论(0) 推荐(0) 编辑

2个CDH的hive数据同步

摘要：算法和数仓共用一套hive数据: CM: 真实数据: 都存在共享存储: oss, s3,ufile上. CDH配置能访问的权限(key) 阅读全文

posted @ 2019-12-20 15:28 锋锋2019 阅读(708) 评论(0) 推荐(0) 编辑

CDH建表字符集问题

摘要：登陆metadata数据库: show variables like 'character_set%'; alter database hivemeta default character set latin1;set character_set_server=latin1; use hivemet 阅读全文

posted @ 2019-12-20 14:36 锋锋2019 阅读(341) 评论(0) 推荐(0) 编辑

EMR的fair-scheduler.xml

摘要：注意点进emr的yarn里时,配置要选fair-scheduler.修改完点保存,再刷新. cat /etc/ecm/hadoop-conf/fair-scheduler.xml <?xml version="1.0"?> <allocations> <aclSubmitApps>*</aclSub 阅读全文

posted @ 2019-12-19 18:33 锋锋2019 阅读(557) 评论(0) 推荐(0) 编辑

CDH6.2的fair-scheduler.xml

摘要： #设置scheduler类型: yarn.resourcemanager.scheduler.class org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler <?xml version="1.0" en 阅读全文

posted @ 2019-12-19 18:31 锋锋2019 阅读(550) 评论(0) 推荐(0) 编辑

ufile开公钥私钥

摘要： https://docs.ucloud.cn/storage_cdn/ufile/guide/token登陆UCloud官方控制台，进入UFile—令牌管理阅读全文

posted @ 2019-12-19 14:04 锋锋2019 阅读(224) 评论(0) 推荐(0) 编辑

数据的采集

摘要：采集简单分类：采集类型：全量采集：相当于每天整张表做个快照，在hdfs上就是一个分区，表比较小增量采集：采集每天增加的部分表命名规则:-i结尾: 流水型的纯增量的-d结尾: 快照的-a结尾: 全量没有任何分区 1、流水型数据：写入数据库数据不再发生变化（如日志，交易流水），第阅读全文

posted @ 2019-12-16 12:28 锋锋2019 阅读(764) 评论(0) 推荐(0) 编辑

建外表实例

该文被密码保护。阅读全文

posted @ 2019-12-14 21:43 锋锋2019 阅读(6) 评论(0) 推荐(0) 编辑