1.数据库在企业内部都是在区域网,而区域网都是内网,而外网如果要抓取内网的数据,一般要么开放内网数据库的IP要么不开发,实际都是不开发,因此我们都是做一个内外网数据传输的服务,也就是做一个传输软件。
2.一个抓取内网数据库数据,转换成文件,传输到外网,外网接收。一般都是通时间窗口以及定时调度机制运行。
3.问题:
如何保证传输安全???????
思路:
借鉴网络通信的原理:三次握手机制
重发机制
编程模型:
ACK:同步返回确认帧,如果超时,进行转发。
4.借鉴模型:
线程
Job Task-----批处理框架:Spring Batch
ESB、ETL----管道、Service、
Storm-------