摘要：
突发奇想，用了这么久的DataStage，想要写点东西祭奠那逝去的岁月。希望可以坚持一直写完。DataStage系列教程 （Change Capture）DataStage系列教程 （Pivot_Enterprise 行列转换）DataStage系列教程 （Slowly Changing Dimen... 阅读全文
摘要：
一、软件准备下载Linux安装包：nohup wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh &如果想要下载其他版本，可以去官网。二、执行安装下载完成之后,执行命令安装sudo bash Anaconda3-2019.03-Linux-x86_64.sh过程中会提示安装路径选项，如果没特殊要求，可以直... 阅读全文
摘要：
BI中维表的增量更新一般有2种：Type 1：覆盖更改。记录的列值发生变化，直接update成最新记录。Type 2：历史跟踪更改。记录值发生变化，将该记录置为失效，再insert一条新的记录。这两种其实都可以通过sql的left join来实现，不过DataStage给我们提供一个组件，可以很好的... 阅读全文
摘要：
Change Capture可以比较具有相同列的数据集的差异，得出一个数据集（After）在另一个数据库（Before）的基础上产生的哪些变化。变化类型如表1：变化代码变化中文说明0no change无变化1insert新增2delete删除3edit有变化表1 变化种类1 JOB示例如图1，我们最... 阅读全文
摘要：
1 LOG表1.1 思路用log表记录业务库某表yw_tableA发生变化数据的主键。数据进入BI库目标表bi_tableA前，先根据log表记录的主键进行delete。1.2 设计1.2.1 log表结构CREATE TABLE LOG( key_1 VARCHAR(20), --主键1 ... 阅读全文
摘要：
1、函数--drop function getMaxDate; create FUNCTION getMaxDate (y int, m int )returns datebegin DECLARE maxDate date ; select max(dateid ) into ma... 阅读全文
摘要：
1、安装uwsgi、flup、djangowget http://www.saddi.com/software/flup/dist/flup-1.0.2.tar.gz2、项目创建和配置2.1、创建项目cd /root/codes/django-admin.py startproject myproj... 阅读全文
摘要：
linux 执行django（python manage.py runserver），报错No module named _sqlite3，需要安装sqlite-devel，再重新编译安装python。1、安装sqlite-devel yum install sqlite-devel2、重新安装py... 阅读全文