2021年7月22日
clickhouse（二）删除/更新方案
摘要： 本文探讨clickhouse的1个经典问题： 如何模拟实现记录更新和删除效果？（因为clickhouse自带的update/delete实现极为低效） 跟着我的例子走吧。 创建数据库db2 CREATE DATABASE IF NOT EXISTS db2 ON CLUSTER mycluster 阅读全文
posted @ 2021-07-22 11:05 民宿 阅读(6245) 评论(1) 推荐(0) 编辑
clickhouse（一）环境安装&操作分布式表
摘要： clickhouse是当下最流行的OLAP产品，我总结其代表能力体现为： 存储数据：与presto等直接读取外部数据进行计算的方式不同，clickhouse大部分情况是冗余存储一份数据的，所以clickhouse需要提供多种数据集成的方案与生态。 即席查询：典型ad-hoc产品，海量数据秒出数据，计 阅读全文
posted @ 2021-07-22 11:04 民宿 阅读(1308) 评论(0) 推荐(1) 编辑
clickhouse（九）核心引擎MergeTree解读
摘要： ClickHouse 是俄罗斯最大的搜索引擎Yandex在2016年开源的数据库管理系统（DBMS），主要用于联机分析处理（OLAP）。其采用了面向列的存储方式，性能远超传统面向行的DBMS，近几年受到广泛关注。 本文将介绍ClickHouse MergeTree系列表引擎的相关知识，并通过示例分析 阅读全文
posted @ 2021-07-22 11:02 民宿 阅读(753) 评论(0) 推荐(0) 编辑
flink standalone和yarn如何选择
摘要： 结论：生产环境推荐使用yarn方式部署 使用standalone遇到的问题 1) 同一个standalone cluster中的job相互抢占资源，而standalone cluster的模式仅仅只能通过task slot在task manager的堆内内存上做到资源隔离。同时由于前文提到过的Fli 阅读全文
posted @ 2021-07-22 10:56 民宿 阅读(1800) 评论(0) 推荐(0) 编辑
2021年7月21日
git在idea中的冲突解决
摘要： 1.什么是冲突 冲突是指当你在提交或者更新代码时被合并的文件与当前文件不一致。读起来有点绕，结合下面的案例理解。 从上面对冲突的定义来看，冲突时发生在同一个文件上的。 2.生产上冲突的场景 常见冲突的生产场景如下 更新代码 提交代码 多个分支代码合并到一个分支时 多个分支向同一个远端分支推送代码时 阅读全文
posted @ 2021-07-21 16:21 民宿 阅读(238) 评论(0) 推荐(0) 编辑
解决IDEA本地仓库有jar包却无法引用和打包问题
摘要： 在实际开发中，很多时候有些jar包可能无法从远程仓库中获取，这时只能通过手动方式将jar包打进本地仓库，但是当我们使用IDEA进行开发时，却经常遇到本地仓库明明有jar包，但在pom文件中引用时，却依然报错，也无法进行打包。这个问题也是困扰了我很久，直到上网查了很久，才稍微总结出一点点解决的办法，但 阅读全文
posted @ 2021-07-21 14:18 民宿 阅读(2223) 评论(0) 推荐(1) 编辑
连接HBase的正确姿势
摘要： Connection是什么 常见的使用Connection的错误方法有：（1）自己实现一个Connection对象的资源池，每次使用都从资源池中取出一个Connection对象；（2）每个线程一个Connection对象。（3）每次访问HBase的时候临时创建一个Connection对象，使用完之后 阅读全文
posted @ 2021-07-21 11:39 民宿 阅读(653) 评论(0) 推荐(0) 编辑
2021年7月19日
Flink CheckPoint状态点恢复与savePoint机制
摘要： 1 Flink 应用程序启动 ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 -c streaming.SoetWindowWordCountJavaCheckPoint（入口类） /usr/local/install/testJa 阅读全文
posted @ 2021-07-19 18:11 民宿 阅读(2664) 评论(0) 推荐(0) 编辑
Springboot整合log4j2日志全解
摘要： 目录 Springboot整合log4j2日志全解 常用日志框架 日志门面slf4j 为什么选用log4j2 整合步骤 引入Jar包 配置文件 配置文件模版 配置参数简介 Log4j2配置详解 简单使用 使用lombok工具简化创建Logger类 参考文章 Springboot整合log4j2日志全 阅读全文
posted @ 2021-07-19 15:23 民宿 阅读(213) 评论(0) 推荐(0) 编辑
Linux ssh 远程 jps command not found
摘要： 问题简述 (配置了免秘登陆) [bigdata@master ~] $>ssh slave1 jps #远程访问slave1 主机 并执行 jps 命令查看java相关进程 提示错误信息 -bash jps command not found [bigdata@master ~]$>ssh slav 阅读全文
posted @ 2021-07-19 10:58 民宿 阅读(240) 评论(0) 推荐(0) 编辑