摘要： 1.canal数据格式： Entry Header logfileName [binlog文件名] logfileOffset [binlog position] executeTime [发生的变更] schemaName tableName eventType [insert/update/de 阅读全文

摘要： 项目时用到maven管理项目，在一个就项目的基础上开发新的项目；关于子项目和父项目，子项目与子项目之间的调用问题，发现自己存在不足，以下是自己查询的问题，解决了自己的疑惑。 原文地址：https://www.cnblogs.com/kuoAT/p/6845876.html 问题 下面是一个简略的项目 阅读全文

摘要： 用 pip 安装一个包 执行 pip2 install xxx 的时候报错 Fatal error in launcher: Unable to create process using '"' 执行 pip3 install xxx 的时候报同样的错误 Fatal error in launche 阅读全文

摘要： spark 有三大引擎，spark core、sparkSQL、sparkStreaming， spark core 的关键抽象是 SparkContext、RDD； SparkSQL 的关键抽象是 SparkSession、DataFrame； sparkStreaming 的关键抽象是 Stre 阅读全文

摘要： 归档/tmp/mes/2020072310 是将HDFS上的那个目录下的文件归档。/tmp/mes/20200723 归档到那个目录下 hadoop archive -archiveName input.har -p /tmp/mes/2020072310 /tmp/mes/20200723 归档之 阅读全文

摘要： #source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 阅读全文

摘要： 准备 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_i 阅读全文

摘要： 1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压， 进入到目录中编译 直接编译可能报错，跳过test mvn package -DskipTests 2.flume与kafka, 阅读全文

摘要： 传统数仓传统数仓有几个特点： 数据具有历史性 基于文件存储 以表为形态，自带元数据存储（比如Hive） 在数仓的数据是其他数据的拷贝或者拷贝的加工 传统数仓需要拷贝数据的重要原因是因为基于数据和存储需要尽可能的近。所以我们需要把MySQL等数据源的数据同步到数仓，才能进行进一步处理，另外传统数仓更关 阅读全文

摘要： python 2.7.15 安装 pip install pymysql pip install pyspark constant里面是一些数据库连接串信息 1 # coding: utf-8 2 # -*- coding:utf-8 -*- 3 import sys 4 import argpar 阅读全文