摘要: [应用场景] 对分片副本表的列进行 alter 操作 [问题复现] [解决办法] 检查该分片所有副本表的表结构和 zk 上存储的 column 信息保持一致,检查本地的表结构 sql 文件 /data/clickhouse/clickhouse-server/metadata/default/xxx 阅读全文
posted @ 2022-04-01 21:40 hdpdriver 阅读(452) 评论(0) 推荐(0) 编辑
摘要: [应用场景] 由于一些未可知的原因,导致原表不可用,也不能恢复.通过手动迁移的方法来恢复业务 [解决办法] 新建一张 copy 表,把原表的 data 目录复制到新表的data 目录,并 attach 上去,然后删除旧表,把新表重命名为旧表.来恢复业务 比如说原表为 default.a ,具体步骤如 阅读全文
posted @ 2022-04-01 19:59 hdpdriver 阅读(738) 评论(0) 推荐(0) 编辑
摘要: [应用场景] 对副本表进行 alter delete 数据后,同样的数据再进行 insert into 操作. [问题复现] [问题解释] 对副本表 insert 语句的数据会划分为数据块. 每个数据块会生成 block_id ,存在 zookeeper 相应表目录的 block 子目录下.根据这个 阅读全文
posted @ 2022-04-01 12:57 hdpdriver 阅读(2295) 评论(0) 推荐(0) 编辑
摘要: altinity 网络研讨会学习 阅读全文
posted @ 2020-11-23 15:07 hdpdriver 阅读(807) 评论(0) 推荐(0) 编辑
摘要: 数据处理框架 数据处理是一个非常宽泛的概念,数据处理框架在数据架构中,主要是用于数据移动和分析这两大功能当中.对于数据移动,有离线数据移动和实时数据移动,也可以叫做是批量数据移动和流式数据移动.而对于分析这一块,有离线数据分析和实时数据分析,也可以称作是批量数据分析和流式数据分析.离线和实时,批量和 阅读全文
posted @ 2020-03-03 09:33 hdpdriver 阅读(749) 评论(0) 推荐(1) 编辑
摘要: 调试Spark应用性能的时候,首先应该理解spark是如何工作以及你的spark应用需要何种类型的资源。比如说,机器学习相关的spark应用更依赖cpu计算能力,ETL应用更依赖I/O能力,以此进行有针对的优化和配置。 硬件配置 正确的硬件配置要根据实际的情况来看。可以从以下几个方面来考虑: 存储系 阅读全文
posted @ 2020-02-26 11:00 hdpdriver 阅读(252) 评论(0) 推荐(0) 编辑
摘要: (官方文档整理) 系统级调优 1.保证充足的RAM 2.64位的操作系统 3.Linux的swappiness设置为0 : sysctl vm.swappiness=10 vim /etc/sysctl.conf 加上 vm.swappiness=0 网络级调优 当集群的扩容的时候,应该同时注意交换 阅读全文
posted @ 2020-02-25 15:01 hdpdriver 阅读(803) 评论(0) 推荐(0) 编辑
摘要: 概述 以 Hortonworks Data Platform (HDP) 平台为例 ,hadoop大数据平台的安全机制包括以下两个方面: 身份认证 即核实一个使用者的真实身份,一个使用者来使用大数据引擎平台,这个使用者需要表明自己是谁,即提供自己的身份证明,大数据平台需要检验这个证明,确定这个证明是 阅读全文
posted @ 2019-08-05 23:31 hdpdriver 阅读(1928) 评论(0) 推荐(0) 编辑
摘要: 前言 要问 Hortonworks 这家公司最有产品力的产品是什么,我觉得是 Apache NiFi.去年Cloudera 和 Hortonworks 合并之后,以 Cloudera 为主,两家公司进行产品整合.Cloudera 从 Hortonworks 家没拿啥东西,唯独拿来了 Apache N 阅读全文
posted @ 2019-04-20 12:49 hdpdriver 阅读(5588) 评论(0) 推荐(2) 编辑
摘要: 本文来源于 "官方文档" 翻译 ___ NiFi 的核心概念 NiFi 最早是美国国家安全局内部使用的工具,用来投递海量的传感器数据.后来由 apache 基金会开源.天生就具备强大的基因.NiFi基本设计理念与 "Flow Based Programming" 基于流式编程 的主要思想非常类似,核 阅读全文
posted @ 2019-04-19 21:19 hdpdriver 阅读(1463) 评论(0) 推荐(0) 编辑