上一页 1 2 3 4 5 6 7 8 ··· 26 下一页

2020年1月8日

dig用法

摘要: 参考: https://www.cnblogs.com/bonelee/p/7612554.html 一般来说linux下查询域名解析有两种选择,nslookup或者dig,而在使用上我觉得dig更加方便顺手。如果是在debian下的话,只要装上dnsutils这个包就可以使用dig命令了。最基本的 阅读全文

posted @ 2020-01-08 20:24 锋锋2019 阅读(334) 评论(0) 推荐(0) 编辑

2020年1月7日

CDH6.2缩容

该文被密码保护。 阅读全文

posted @ 2020-01-07 21:28 锋锋2019 阅读(5) 评论(0) 推荐(0) 编辑

2020年1月4日

数据从s3迁移到oss

该文被密码保护。 阅读全文

posted @ 2020-01-04 11:41 锋锋2019 阅读(4) 评论(0) 推荐(0) 编辑

2020年1月2日

python发邮件

该文被密码保护。 阅读全文

posted @ 2020-01-02 21:17 锋锋2019 阅读(10) 评论(0) 推荐(0) 编辑

kudu原理

摘要: 参考:官网:https://kudu.apache.org/docs/index.html 原理: https://blog.csdn.net/nosqlnotes/article/details/79496002 emr: https://help.aliyun.com/document_deta 阅读全文

posted @ 2020-01-02 14:36 锋锋2019 阅读(869) 评论(0) 推荐(0) 编辑

presto原理

摘要: presto:https://blog.csdn.net/u011596455/article/details/86558218 部署:https://blog.csdn.net/weixin_33701564/article/details/91894251 EMR: https://help.a 阅读全文

posted @ 2020-01-02 14:33 锋锋2019 阅读(996) 评论(0) 推荐(0) 编辑

2019年12月30日

EMR的hive包升级和gateway启动hs2

摘要: 升级: mkdir /opt/apps/hivecd /opt/apps/hivewget http://emr.oss-cn-hangzhou.aliyuncs.com/ecm-repo/hive/opay/apache-hive-2.3.5-bin.tar.gzmd5sum apache-hiv 阅读全文

posted @ 2019-12-30 16:55 锋锋2019 阅读(443) 评论(0) 推荐(0) 编辑

维度建模

摘要: ODS:数据 来源 : 一部分是来自关系型数据库,符合ER模型 。一部分来自日志 ,清洗成二维表 DWD: 把所有的数据清理整合 ,规范化 。脏数据清理 ,命名不规范的。最后拿到的是干净的 ,一致性的数据 。 把公共维度抽取出来,如区域 DWS: 维度建模,通用的汇总层 ,为了避免重复计算。 DWS 阅读全文

posted @ 2019-12-30 08:48 锋锋2019 阅读(1576) 评论(2) 推荐(0) 编辑

2019年12月27日

yarn调优

摘要: 参考: https://www.cnblogs.com/yinzhengjie/articles/11064239.html yarn.scheduler.fair.allow-undeclared-pools false #不容许用户自己创建队列 yarn.scheduler.minimum-al 阅读全文

posted @ 2019-12-27 21:36 锋锋2019 阅读(140) 评论(0) 推荐(0) 编辑

hive原理和调优

摘要: 参考: hive参数: https://www.cnblogs.com/yinzhengjie/articles/11065409.html 官网: hive.apache.org 选Getting Started Guide会转到wiki, 中文翻译--里面搜索想要的,比如hiveserver2 阅读全文

posted @ 2019-12-27 21:28 锋锋2019 阅读(781) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 ··· 26 下一页

导航