随笔分类 - 数据仓库
数据仓库
摘要：SELECT t.identity_number '身份证号',SUBSTR(t.identity_number,1,2) AS "省份",SUBSTR(t.identity_number,7,8) "出生年月",CASE (SUBSTR(t.identity_number,17,1)%2)WHEN
阅读全文
摘要：举个简单的栗子： 找到最小日期的那一条记录 select * from ( select *,row_number() over (partition by id order by cast(date as bigint) asc ) date_row_numberfrom ods_sdm.sdm_
阅读全文
摘要：https://blog.csdn.net/sunnyyoona/article/details/62894761 select sum(pitem) from (select map_values(repay_principal) principal from dw.dw_xxx) t later
阅读全文
摘要：今天遇到个问题： 利用java程序从云梯上读文件，解析出来的内容，会出现null,和\N。 1. 字符串null是因为，当字段=‘’时，存储为null。利用命令 alter table adl_cici_test_fdt set serdeproperties('serialization.null
阅读全文
摘要：使用join连表，缺陷的情况下是inner join,开发中使用的left join和right join属于outer join，outer join还包括full join 现有两张表，Table A 是左边的表。Table B 是右边的表。其各有四条记录，其中有两条记录name是相同的： 1.
阅读全文
摘要：UDF UDAF UDTF java 和 python 实现udf的对比： http://whlminds.com/2015/10/07/hive-udf-java-python/
阅读全文
摘要：select id, str_to_map(concat_ws(',',collect_set(concat(substr(repay_time,0,7), ':',round(interest,2)))),',',':') repay_interest from 50_repay t select
阅读全文
摘要：select * from ( select t1.instalment_id as r_id , t2.instalment_id as p_id from (select instalment_id from r_i ) t1 left join (select instalment_id fr
阅读全文
摘要：hive 的存储路径的 .hive staging_hive_yyyy MM dd_HH mm ss_SSS_xxxx x 文件可以清理掉吗 https://blog.csdn.net/sparkexpert/article/details/51918999 https://www.v2ex.com
阅读全文
摘要：select from_unixtime(time_created/1000, '%Y%m%d %H:%i:%S') as time from dual select from table_name where billing_date/1000 =unix_timestamp('2018 06 0
阅读全文
摘要：第一范式 1NF 第一范式主要是为了保证数据的原子性，无重复的列，每一个属性都是原子项，不可再分。 关系型数据库一定满足第一范式 第二范式 2NF 在第一范式的基础上，非主键属性依赖于整个主键，而不是其中一部分。 如，当存在联合主键，非主键信息不是由整个主键函数来决定时，可能由部分主键就能确定其属性
阅读全文
