物是人非事事休,欲语泪先流|

游客0721

园龄:2年粉丝:4关注:2

项目正式——数据抽取模块

2023年11月7日21:43:44

数据抽取-业务需求_合并

image
image

搭建程序的框架

image
image
数据抽取是一个通用的模块
image
全量抽取根据字段 增量抽取根据序列器
image

数据抽取-实现全量抽取

数据抽取-实现增量抽取

image
image
需要在oracle创建全国气象站点参数表和气象观测数据表
在数据库维护一个保存最大字段的表,保存在自己的数据库当中,因为别人的数据库只允许查询、
从自己的数据库抽取解析xml然后就可以对照了
保存在不同的用户中
抽取数据/idcdata/dmining/dminingoracle_ZHOBTMIND_togxpt.keyid这里为什么不在数据库,骗我是吧..
打开文件失败 检查参数没有问题,只能是权限问题
image
image
chown -R hhh /home/hhh/dump 类似命令

数据抽取-应用的经验

image
第一个属于气象站点 第三个属于气象观测,小的全量,大的增量
image
删除该修改 修改该插入

本文作者:游客0721

本文链接:https://www.cnblogs.com/Gal0721/p/17816124.html

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   游客0721  阅读(18)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具
点击右上角即可分享
微信分享提示
评论
收藏
关注
推荐
深色
回顶
收起
  1. 1 優しい光 水谷広実
  2. 2 ひだまりの中で SONO MAKERS,鈴丸
  3. 3 白い吐息 MANYO
  4. 4 夏の子守歌 折戸伸治
白い吐息 - MANYO
00:00 / 00:00
An audio error has occurred, player will skip forward in 2 seconds.