项目正式——数据抽取模块
2023年11月7日21:43:44
数据抽取-业务需求_合并
搭建程序的框架
数据抽取是一个通用的模块
全量抽取根据字段 增量抽取根据序列器
数据抽取-实现全量抽取
数据抽取-实现增量抽取
需要在oracle创建全国气象站点参数表和气象观测数据表
在数据库维护一个保存最大字段的表,保存在自己的数据库当中,因为别人的数据库只允许查询、
从自己的数据库抽取解析xml然后就可以对照了
保存在不同的用户中
抽取数据/idcdata/dmining/dminingoracle_ZHOBTMIND_togxpt.keyid这里为什么不在数据库,骗我是吧..
打开文件失败 检查参数没有问题,只能是权限问题
chown -R hhh /home/hhh/dump 类似命令
数据抽取-应用的经验
第一个属于气象站点 第三个属于气象观测,小的全量,大的增量
删除该修改 修改该插入
本文作者:游客0721
本文链接:https://www.cnblogs.com/Gal0721/p/17816124.html
版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具