上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 26 下一页
摘要: 阅读全文
posted @ 2020-11-12 22:42 PEAR2020 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 一、约束 详情见: https://blog.csdn.net/w_linux/article/details/79655073 Mysql不支持第五种检查约束CHECK (一)非空约束(not null) (二)唯一性约束(unique) 1、表级约束:email varchar(128) uni 阅读全文
posted @ 2020-11-12 22:36 PEAR2020 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 一、销售案例步骤 (一)ODS层 建立源数据库并生成初始的数据 在Hive中创建源数据过渡区和数据仓库的表 日期维度的数据装载 数据的ETL => 进入dwd层,本案例简单,不需要清洗 (二)DW层 dwd层:ETL清洗,本案例不需要 dws层:建模型+轻聚合,本案例只需要建模型,太简单,不需要聚合 阅读全文
posted @ 2020-11-12 17:20 PEAR2020 阅读(2676) 评论(0) 推荐(0) 编辑
摘要: 一、存储过程 定义:一组可编程的函数,是为了完成特定功能的SQL语句集,经编译创建并保存在数据库中,用户可通过指定存储过程的名字并给定参数(需要时)来调用执行。 优点:1.简化重复调用2.批量处理3.统一接口,保证数据安全 1、创建和调用 详情可见:https://www.cnblogs.com/g 阅读全文
posted @ 2020-11-12 15:47 PEAR2020 阅读(162) 评论(0) 推荐(1) 编辑
摘要: 出错原句为: sqoop import \ --connect jdbc:mysql://192.168.56.111:3306/test \ --driver com.mysql.jdbc.Driver \ --query "select * from orders where orddate = 阅读全文
posted @ 2020-11-12 10:30 PEAR2020 阅读(621) 评论(0) 推荐(0) 编辑
摘要: 详见:https://blog.csdn.net/a904364908/article/details/99704907 >>> 分隔符为: FIELDS TERMINATED BY '\t' ,而从postgresql或者mysql来的数据的分隔符则应该为: FIELDS TERMINATED B 阅读全文
posted @ 2020-11-11 17:57 PEAR2020 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 把hive-jdbc-1.1.0-cdh5.14.2-standalone加入sqoop的lib中 阅读全文
posted @ 2020-11-11 17:28 PEAR2020 阅读(564) 评论(0) 推荐(0) 编辑
摘要: 引用:https://www.cnblogs.com/30go/p/9517162.html 解决:缺少了hive-common-2.3.3.jar包,在hive的lib目录下,拷贝到sqoop的lib目录下即可。 阅读全文
posted @ 2020-11-11 17:03 PEAR2020 阅读(644) 评论(0) 推荐(0) 编辑
摘要: 简单了解概念版本:https://blog.csdn.net/houfengfei668/article/details/79619215 一、拉链表 记录每个订单状态的历史变化 dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间; dw_ 阅读全文
posted @ 2020-11-11 12:25 PEAR2020 阅读(519) 评论(0) 推荐(0) 编辑
摘要: 一、sqoop作用? 1.sqoop是一个数据交换工具,最常用的两个工具是导入导出。 导入导出的参照物是hadoop,向hadoop导数据就是导入。 RDBMS <-> Hadoop(HDFS/HIVE/HBASE) 2.命令翻译成MapReduce并行操作,如何确认数据没有丢失? wc -l 显示 阅读全文
posted @ 2020-11-11 11:42 PEAR2020 阅读(296) 评论(0) 推荐(0) 编辑
上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 26 下一页