摘要: 一、Sqoop主要特点: 1.可以将关系型数据库中的数据导入到hdfs,hive,hbase等hadoop组件中,也可以将hadoop组件中的数据导入到关系型数据库中; 2.sqoop在导入导出数据时,充分采用了map-reduce计算框架(默认map数为4),根据输入条件生成一个map-reduc 阅读全文
posted @ 2022-10-06 18:16 光●中 阅读(2153) 评论(0) 推荐(0) 编辑
摘要: 方法1(hive下执行):insert overwrite local directory 'Linux本地目录' row format delimited fields terminated by '\t' select * from 表名 where ......; eg:insert over 阅读全文
posted @ 2022-10-06 17:43 光●中 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 行转列:源表: 方法1:case when select y,sum(case when q=1 then amt end) q1,sum(case when q=2 then amt end) q2,sum(case when q=3 then amt end) q3,sum(case when 阅读全文
posted @ 2022-10-04 14:46 光●中 阅读(532) 评论(0) 推荐(0) 编辑
摘要: ORACLE基本数据类型:字符串类型、数字类型、日期类型、LOB类型 类型作用 NUMBER NUMBER(P,S)是最常见的数字类型。P 是Precision 的英文缩写,即精度缩写,表示有效数字的位数,最多不能超过38 个有效数字。S 是Scale 的英文缩写,表示小数点数字的位数。 VARCH 阅读全文
posted @ 2022-09-30 17:51 光●中 阅读(77) 评论(0) 推荐(0) 编辑
摘要: 事务就是多条sql语句组成的工作逻辑单元 事务的特点:原子性、一致性、隔离性、持久性 事务对SQL 语句进行分组,使它们要么全部提交 ( 这意味着它们被应用到数据库 ) ,要么全部回滚 ( 这意味着它们从数据库撤消 ) 。 只要有一条 SQL 语句执行失败,则已执行的 SQL 语句会回滚到执行之前的 阅读全文
posted @ 2022-09-25 14:59 光●中 阅读(913) 评论(0) 推荐(0) 编辑
摘要: 数据定义语言(DDL,Data Definition Language):包括CREATE(创建)ALTER(修改)DROP(删除)等。 数据操纵语言(DML,Data Manipulation Language):包括INSERT(插入)UPDATE(更新)DELETE(删除)等。 数据查询语言( 阅读全文
posted @ 2022-09-25 14:42 光●中 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 1. varchar2所有字符都占两字节处理(一般情况下),varchar只对汉字和全角等字符占两字节,数字,英文字符等都是一个字节。 2. varchar2把空串等同于null处理,而varchar仍按照空串处理。 阅读全文
posted @ 2022-09-25 14:19 光●中 阅读(510) 评论(0) 推荐(0) 编辑
摘要: 从结果上来看 1. UNION和UNION ALL都是将两个结果集合并为一个,但是UNION在进行表链接后会筛选掉重复的记录,Union All不会去除重复记录。 2. Union将会按照字段的顺序进行排序;UNION ALL只是简单的将两个结果合并后就返回。 从效率来看你 1. 从效率上说,UNI 阅读全文
posted @ 2022-09-25 13:00 光●中 阅读(88) 评论(0) 推荐(0) 编辑
摘要: 1.从结果上来看 count(1)和count(*)之间没有区别,因为count(*)count(1)都不会去过滤空值,但count(列名)就有区别了,因为count(列名)会去过滤空值。 2.从执行效率来看 (1)如果列名为主键,count(列名)效率高于count(1),如果列名非主键,coun 阅读全文
posted @ 2022-09-25 12:53 光●中 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 在贴近用户的终端中,会产生最原始的数据; 原始的数据会被存储在业务的源系统中; 将海量的原始数据,进行数据的筛选,进行有效数据的单独存储; 需要有一个数据库,单独的进行业务流程和需求的数据计算结果的保存; 最终这个数据需要进行报表页面的可视化展示。 数据在不同的层次中进行抽取、筛选、存储的过程,就叫 阅读全文
posted @ 2022-09-12 11:57 光●中 阅读(1202) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示