上一页 1 2 3 4 5 6 7 8 9 10 ··· 26 下一页

2019年12月14日

算法运行订单的spark

该文被密码保护。 阅读全文

posted @ 2019-12-14 21:15 锋锋2019 阅读(8) 评论(0) 推荐(0) 编辑

CDH6.2的spark访问oss

摘要: CDH6配置oss后:spark的配置 /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hive/lib/opt/clo 阅读全文

posted @ 2019-12-14 21:05 锋锋2019 阅读(1126) 评论(0) 推荐(0) 编辑

2019年12月11日

CDH6.2上配置各种对象存储

摘要: cm-hdfs: ufile: 还需添加jar包 S3:是自带jar包 OSS: CDH6不需要下载包, CDH5需要 core-site.xml 的群集范围高级配置代码段(安全阀) fs.oss.endpoint oss-eu-west-1.aliyuncs.com #oss的外网地址fs.oss 阅读全文

posted @ 2019-12-11 10:27 锋锋2019 阅读(1270) 评论(0) 推荐(0) 编辑

2019年12月10日

ssh转发

摘要: ali-confluent-2 /user/hive/warehouse/user/hive/warehouse/db_test1.db yum install expect -ycd /rootcd /root/.ssh/vim configHost oride-opsHostName 152.3 阅读全文

posted @ 2019-12-10 20:04 锋锋2019 阅读(153) 评论(0) 推荐(0) 编辑

2019年12月9日

EMR-LDAP配置

摘要: usersync是负责在配置policy的时候可选用户有ldap里的用户,admin是负责登录webui的 https://cwiki.apache.org/confluence/display/RANGER/Configure+Ranger+UserSync+for+LDAP 配置: SYNC_L 阅读全文

posted @ 2019-12-09 14:28 锋锋2019 阅读(646) 评论(0) 推荐(0) 编辑

普通帐号起airflow-阿里云

该文被密码保护。 阅读全文

posted @ 2019-12-09 10:52 锋锋2019 阅读(11) 评论(0) 推荐(0) 编辑

2019年12月8日

数据建模

摘要: 常用的模型: 关系模式: 把我们的数据抽象成二维表 目前的业界范式有: 第一范式: 第二范式:不存在局部依赖 第三范式: 常用,消除传递属性依赖 建模理论: ER实体模型 GG 维度模型 GG dataVault模型 Anchor 1/ ER模型 例如: 案例: ER图: 但一般 画这个比较耗时间 阅读全文

posted @ 2019-12-08 17:37 锋锋2019 阅读(288) 评论(0) 推荐(0) 编辑

数据仓库介绍

摘要: 面向业务的数据库常叫 OLTP(on-line transaction processing)面向 分析的数据仓库常叫OLAP(On-Line Analytical Processing),区别见 : https://www.cnblogs.com/hongfeng2019/p/12004551.h 阅读全文

posted @ 2019-12-08 08:19 锋锋2019 阅读(514) 评论(0) 推荐(0) 编辑

OLTP和 OLAP区别

摘要: 联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理,比如数据库记录的增删查改。比如在银行的一笔交易记录,就是一个典型的事务。 OLTP的特点一般有: 1.实时性要求高。我记得之前上大学的时候,银行异地汇款,要隔天才能到账,而现在是分分钟 阅读全文

posted @ 2019-12-08 08:18 锋锋2019 阅读(543) 评论(0) 推荐(0) 编辑

2019年12月7日

ansible常用

该文被密码保护。 阅读全文

posted @ 2019-12-07 21:13 锋锋2019 阅读(7) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 10 ··· 26 下一页

导航