会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
秋华
博客园
首页
新随笔
管理
上一页
1
···
299
300
301
302
303
304
305
306
307
···
376
下一页
2020年9月16日
FLINK实例(3): CONNECTORS(2)自定义source
该文被密码保护。
阅读全文
posted @ 2020-09-16 22:56 秋华
阅读(675)
评论(0)
推荐(0)
编辑
FLINK实例(1): flink开发环境准备
该文被密码保护。
阅读全文
posted @ 2020-09-16 18:57 秋华
阅读(595)
评论(0)
推荐(0)
编辑
2020年9月15日
Flink基础(十八):FLINK面试题(0)
该文被密码保护。
阅读全文
posted @ 2020-09-15 21:07 秋华
阅读(2050)
评论(0)
推荐(1)
编辑
2020年9月12日
实时电商数仓(十)之数据采集(九)数据库数据采集(四)Maxwell入门与安装
该文被密码保护。
阅读全文
posted @ 2020-09-12 21:44 秋华
阅读(774)
评论(0)
推荐(0)
编辑
实时电商数仓(九)之数据采集(八)数据库数据采集(三)canal安装
摘要: 1 mysql的准备 1.1 导入模拟业务数据库 1.2 赋权限 在mysql中执行 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ; 1.3 修改/et
阅读全文
posted @ 2020-09-12 21:29 秋华
阅读(323)
评论(0)
推荐(0)
编辑
实时电商数仓(八)之数据采集(七)数据库数据采集(二)canal 入门
摘要: 1 什么是 canal 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务。 canal是用java开发的基于数据库增
阅读全文
posted @ 2020-09-12 21:16 秋华
阅读(808)
评论(0)
推荐(0)
编辑
实时电商数仓(七)之数据采集(六)数据库数据采集(一)数据源准备
摘要: 1 建表 连接hadoop103mysql数据库,利用navicat导入mysql脚本,建立表 1)gmall0105.sql 2)base_province表数据.sql 2 生成数据并导入到数据库中 三个文件放在同一个文件夹下 1)修改保存application.properties loggi
阅读全文
posted @ 2020-09-12 21:04 秋华
阅读(738)
评论(2)
推荐(0)
编辑
实时电商数仓(二)之数据采集(一)搭建日志采集系统的集群(一)模拟日志生成器的使用
摘要: 1 拷贝日志生成jar包到虚拟机的某个目录 2 修改application.properties # 外部配置打开 # logging.config=./logback.xml #业务日期 mock.date=2020-05-16 #模拟数据发送模式 mock.type=http #http模式下,
阅读全文
posted @ 2020-09-12 15:56 秋华
阅读(578)
评论(0)
推荐(0)
编辑
2020年9月11日
实时电商数仓(六)之数据采集(五)搭建日志采集系统的集群(五)搭建日志采集集群---(集群部署)(centos)
摘要: 3.1 Nginx 入门 3.1.1简介 Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器,特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。 3.1.2 N
阅读全文
posted @ 2020-09-11 22:34 秋华
阅读(301)
评论(0)
推荐(0)
编辑
实时电商数仓(五)之数据采集(四)搭建日志采集系统的集群(四)日志采集模块打包部署--- (部署到服务器)
摘要: 2 日志采集模块打包部署 (部署到服务器) 2.1 修改logback中的配置文件 <?xml version="1.0" encoding="UTF-8"?> <configuration> <property name="LOG_HOME" value="/opt/applog/gmall010
阅读全文
posted @ 2020-09-11 22:29 秋华
阅读(407)
评论(0)
推荐(0)
编辑
上一页
1
···
299
300
301
302
303
304
305
306
307
···
376
下一页
公告