03 2022 档案
摘要：这套架构专门针对数据采集分析查询而设计,例如全国的核酸检测数据的采集上报分析程序, 背景: 我在参与核酸数据采集工作的时候,省里数据量每天能达到千万级别,以及数据上报,程序总是崩溃,甚至数据丢失,不得不请教了我老大哥,凑巧的是大哥正好来到我这个城市出差.俩人见面随即在大楼玻璃上当白板给我传授经验,真
阅读全文
摘要：ETL工具之Kettle将一个数据库中的数据提取到另外一个数据库中： 1.打开ETL文件夹，双击Spoon.bat启动Kettle 2.资源库选择，诺无则选择取消 3.选择关闭 4.新建一个转换 5.配置所需数据库 6.将需要进行提取的数据表，用表输入得到 7.选择源数据所在数据库及表，sql语句可
阅读全文
摘要：数据库的字符集等全都设置成了utf8，但是kettle做数据库查询时，显示出来的数据却是乱码。 根据网上查的设置characterEncoding=utf8，和set names utf8;都没有用。 最后，用ue打开spoon.bat，在if "%PENTAHO_DI_JAVA_OPTIONS%"
阅读全文
摘要：任务: 从sqlserver中将一个表A（约16W条数据）导到mysql中对应的一个表B中。 思路：分段获取A表中的数据后，用多个线程同时向B表中写入。 关键代码 //将数据库中的数据条数分段 public void division(){ //获取要导入的总的数据条数 String sql3="S
阅读全文
摘要：随着疫情反复，频频崩溃的数据平台系统引起了人们的注意。 “我早上6点就起来了，6点半去排队，7点开始测，7点20就完事儿啦！”天津市民刘先生大清早就按照要求参加了核酸检测，等到他看到了微信群里有朋友在抱怨核酸检测系统的崩溃时，才觉得10日的早起，值了！ 微信记录显示，有天津市民在10日10：40左右
阅读全文
