摘要：
首先，我在windows本地已经安装了一个伪集群 并且配置了hadoop的环境变量 还有path 中 在cmd中检验hadoop环境变量 有了这个伪集群，安装hbase就不需要使用伪Linux环境了 此安装是hbase的单机版，区别与hbase的伪集群安装，只用于单机测试。单机版安装不需要启动had 阅读全文
摘要：
配置1：vim flink-conf.yml 流式写入hive需要配置检查点 # state.backend: filesystem state.backend: filesystem # 取消的时候保存检查点 execution.checkpointing.externalized-checkpo 阅读全文
摘要：
在开发Flink程序在本地模式调试时，需要用webUI， 首先需要导入依赖 <!-- flink运行时的webUI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</art 阅读全文
摘要：
canal源码及安装下载 https://github.com/alibaba/canal/releases 基于canal的client-adapter数据同步必读指南 http://www.voycn.com/article/jiyucanaldeclient-adaptershujutongb 阅读全文
摘要：
导入数据： #1、导入制表符分隔的数据 cat /data/ZDGL/stateAnalysis/dmt_term_stateAnalysisALL202010.txt | clickhouse-client -u default --password 6lYaUiFi --query="INSER 阅读全文
摘要：
实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例 Flink1.11中的CDC Connectors操作实践 阅读全文
摘要：
Linux shell中对日期时间的处理、日期时间加减 shell 日期加减 阅读全文
摘要：
官方推荐两种构建方式，第一 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.12.0 创建flink 阅读全文
摘要：
概述 sed命令是一个面向字符流的非交互式编辑器，也就是说sed不允许用户与它进行交互操作。sed是按行来处理文本内容的。在shell中，使用sed来批量修改文本内容是非常方便的。 sed命令的选项 sed [选项] [动作]选项与参数：-n ：使用安静(silent)模式。在一般 sed 的用法中 阅读全文
摘要：
在爬虫的时候接受的request.url本来是中文的，但是代码中接收到的是带有很多%的乱码，需要解码得到中文的内容： 原本下载这个文件的get请求是： http://www.shclearing.com/wcm/shch/pages/client/download/download.jsp?File 阅读全文