对数据交换平台，教育行业大数据平台的思考

数据交换规范说明：

    市（区）的所有教育业务系统数据，要求在最短的时间内到达教育云数据中心，进行快速计算，提供决策分析依据。这对时效性要求很高，但因目前技术限制，无法做到完全实时，我们采用准实时的方案进行应对：业务系统的新增数据在5分钟之内汇集到教育云大数据中心。

    市（区）教育业务系统现有数据量巨大，每日还会有大量的新数据产生。采用传统的数据整体查询、文件定时上报等方式，不能满足准实时查询分析要求，增量查询成为必然。

　　具体描述：
    （1）提供业务数据的系统，必须将业务的流水信息、统计信息等业务信息，提供文档说明要交换的内容描述，数据库表设计说明，字段含义，

　　　　并开发以增量形式提供查询接口，参数为起始查询ID，查询个数，返回JSON形式的数据结果，其中需要特殊注意的是每个上报表都需要有一列TS，就是时间戳，名称不允许改变，格式为整数（长整数）。

    （2）对于新增的数据、删除的数据（要实现打标识的删除办法，不得进行物理删除）、修改的数据，每条记录产生变化时，均需记录每一行数据的版本号，下面分别以MYSQL,SQL SERVER,ORACLE说明实现原理    

MYSQL:
CREATE TABLE temp
(
 id INT(11) PRIMARY KEY AUTO_INCREMENT,
 name VARCHAR(10),
 updated_at timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);


SQL SERVER:
CREATE TABLE ExampleTable2 (PriKey int PRIMARY KEY, VerCol rowversion) ;  


ORACLE 10g:
create table testscn(id number(5),name varchar2(10),sex number(1),addr varchar2(100)) rowdependencies;
select ora_rowscn,id,name,sex,addr from testscn


对于其它数据库的具体实现，请各对接方自行实现。

     （3）安全控制：PHP、JAVA、C#、Object-C 通用的DES加密，密码由教育云大数据中心与各业务系统之间预先约定好。

    http://www.cnblogs.com/pengxl/p/3967040.html

    要加密的字符串的生成规则是： 系统编码(0001：教育云大数据中心，0002：综合素质评价系统，0003：某某系统...) + 空格 +20160715010001（年月日时分秒）,判断条件：
    是否能解密成功，解密成功后判断时间戳是否与系统时间的差值在10分钟以上等。


5、大数据分析
     东师理想多年来一直致力于教育行业信息化建设，对于教育行业的大数据分析问题进入深入思考，并与国内多个云计算，大数据分析厂商保持紧密合作，采用跨粒度计算、并行计算、列存储 、内存计算等多项技术支撑PB级大数据,具有高性能的大数据分析能力。对于各种新增的BI分析等需求，最短可以达到3天内上线，远非传统BI系统开发周期可比。


 

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

 

http://www.yonghongtech.com/html/video/jiaocheng/#baipishu

 

https://www.shujuguan.cn/

 

http://www.moojnn.com/

 

http://cio.it168.com/a2015/0806/1752/000001752658.shtml 

 

http://wenku.baidu.com/link?url=P92ivLsVN9NWIz6gvXSpDA00GJ8_BOqPFe-1e7Yhh1lMKeieYhMvvFdfKP9cn-P4txTDNtYNzpapkXlOC4nPDVXedYyHN5qdog6DU0FzP4i

 

 大牛关于大数据的论述

http://www.enet.com.cn/article/2013/0826/A20130826306754.shtml

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

 

1、统一认证模块为云平台附属模块，不独立销售，购买云平台即赠送统一认证，如客户已有统一认证系统，我们可屏蔽统一认证系统，对接已有的统一认证系统。

2、 统一数据模块原来的职能为将基础数据共享给其它接入的业务系统，在目前看来，客户需要多个业务系统并存，不只需要单向的基础数据到业务系统功能，而是需要 各个业务系统、基础数据之间的数据互通，是一个标准的数据总线形式，同时在上端根据不同系统的数据汇集，进行大数据分析，形成决策依据，为此将此块功能进 化为：
   教育云大数据中心，提供各业务系统数据互联互通，大数据分析结果互联互通等功能。对于无大数据分析需求的客户，教育云大数据中心可单独提供业务系统数据互联互通功能。

3、基础数据模块与其它业务系统在本质上并无不同，一样遵循东师理想云平台的数据交换规范，采用数据增量接口+安全权限控制的方法进行互联互通。