摘要：
前提是要搭建好数据库，然后将下面两个包放到 服务器上： tar -zxvf apache-hive-1.2.1-bin.tar.gz mysql-connector-java-5.1.32-bin.jar 步骤： 1. 解压该包：tar -zxvf apache-hive-1.2.1-bin.tar 阅读全文
摘要：
line = 'cocct123' # '^c' 代表以c开头 match_line = '^c' if re.match(match_line,line): print('匹配') #' ^c.*' 代表以c开头,任何字符结尾 match_line =' ^c.*' if re.match(mat 阅读全文
摘要：
1.创建一个临时表： 2.给临时表增加一个索引 这个好处是遇到大量数据进入临时表的时候，使用起来查询较快，如果是较少的数据的话 就没有必要了 阅读全文
摘要：
列表生成式 例如 有一个列表 a =[2,3,4,5] 需要将列表都加上1 #第一种方法 for i in map(lambda i:i+1,a) #第二种方法 for index,i in enumerate(a): a[index] +=1 print(a) #第三种，简单列表生成式 a = [ 阅读全文
摘要：
一、仓库表的一些规范 ODS底层表在原有表结构的基础上增加技术字段：ETL_DT、DealTime，分别记录批次日期和处理时间。 历史拉链表在原有表结构的基础上增加技术字段：Start_Dt、End_Dt、DealTime，分别记录开始日期、结束日期和处理时间。 仓库中表的字段类型尽量只用：varc 阅读全文
摘要：
数据治理1、数据治理需要注意事项及问题点1.1、跨组织的沟通协调问题：1.1.1、数据治理是一个组织的全局性项目，需要IT部门与业务部门的倾力合作和支持，需要各个部门站在组织战略目标和组织长远发展的视角来看待数据治理。因此， 数据治理项目需要得到组织高层的支持，在条件允许的情况下，成立以组织高层牵头 阅读全文
摘要：
就是在执行存储后，获取存储过程执行的数据并作为其他应的二次使用， 其实在代码中可以说是调用类似，具体操作如下： 创建一个存储过程： 以上脚本，就是返回一个2+2等于4的结果 在外部怎么调用，或者其他存储过程脚本里面，如下： 执行就是返回4 了，这样就可以比较灵活的使用，调用 在后面的工作中就方便的多 阅读全文
摘要：
1.特性： 1.1.可扩展性 1.2.减少代码重复 1.3.程序更容易维护 2.函数的参数与局部变量 2.1.函数里面的 *arges 元组形式存储，**kwarges 字典方式存储，可以写成其他，但是**必须写 2.2.函数里面入参可以是默认参数，固定参数，位置参数，关键字参数，非固定参数的 3. 阅读全文
摘要：
#字符编码： #python 3默认读取数据是 utf-8 #windows默认是gbk编码 读 with open('test','r') as f: #这个方法后面不需要关闭 file = open('test',encoding='utf-8').read() #文件不能直接读取，因为是存在内 阅读全文
摘要：
总结五大数据类型： 按存储个数区分： 存储只能存一个值--数字，字符串 容器类型，存多个值--列表，元组，字典 按可变不可变区分： 可变--列表，字典 不可变--数字，字符串，元组，元组 按访问顺序区分： 直接访问 数字 顺序访问（按下标访问）--字符串，列表，元组 key值访问--字典 集合：由不 阅读全文