|NO.Z.00039|——————————|BigDataEnd|——|Hadoop&实时数仓.V19|——|项目.v19|需求一:数据处理&全量查询.V3|——|ODS:mysql:yanqi_area~~hbash:yanqi_area|
一、编程实现第二层:ODS层数据处理
### --- 编程实现第二层:ODS层数据处理
~~~ ODS:同第四部分 yanqi_area
~~~ ODS:mysql--(binlog) canal----kafka——>yanqi_area
~~~ 下沉mysql:yanqi_area表到hbash:yanqi_area表中
二、编译打印运行程序
### --- 运行程序详参
~~~ # 程序所属文件:
~~~ |实时数仓|实时数仓:项目$创建项目:创建maven工程EbProject.V1|
~~~ |实时数仓|实时数仓:项目$ODS层处理:将kafka中的维表写入DIM层.V4|
~~~ # 运行程序所属文件:
~~~ |实时数仓|实时数仓:项目$ODS层处理:将kafka中的维表写入DIM层.V4|
### --- 运行程序结果输出
~~~ # 在hbash中创建yanqi_area表
[root@hadoop02 ~]# /opt/yanqi/servers/hbase-1.3.1/bin/hbase shell
hbase(main):056:0> create 'yanqi_area' , 'f1'
~~~ # hbash表中获取到数据
[root@hadoop02 ~]# hbase shell
hbase(main):005:0> scan 'yanqi_area'
~~~共计3750条数据
3750 row(s) in 8.1250 seconds
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
——W.S.Landor
分类:
bdv026-EB实时数仓
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通