随笔分类 - Kudu
摘要：kudu tserver占用内存过高后会拒绝部分写请求，日志如下： 19/06/01 13:34:12 INFO AsyncKuduClient: Invalidating location 34b1c13d04664cc8bae6689d39b08b77($kudu_tserver:7050) f
阅读全文
摘要：一 对比 存储空间对比： 查询性能对比： 二 设计方案 将数据拆分为：历史数据（hdfs+parquet+snappy）+ 近期数据（kudu），可以兼具各种优点： 1）整体低于10%的磁盘占用； 2）更少的查询耗时； 3）近期数据实时更新； 4）近期数据可修改； 5）kudu集群重启时间降低90%
阅读全文
摘要：kudu的副本数量是在表上设置，可以通过命令查看 # sudo -u kudu kudu cluster ksck $master ... Summary by table Name | RF | Status | Total Tablets | Healthy | Recovering | Und
阅读全文
摘要：kudu加减数据盘不能直接修改配置fs_data_dirs后重启，否则会报错： Check failed: _s.ok() Bad status: Already present: FS layout already exists; not overwriting existing layout:
阅读全文
摘要：kudu rebalance命令报错 terminate called after throwing an instance of 'std::regex_error' what(): regex_error *** Aborted at 1558779043 (unix time) try "da
阅读全文
摘要：从impala中创建kudu表之后，如果想从hive或spark sql直接读取，会报错： Caused by: java.lang.ClassNotFoundException: com.cloudera.kudu.hive.KuduStorageHandler at java.net.URLCl
阅读全文
摘要：kudu并没有命令可以直接查看每个table占用的空间，可以从cloudera manager上间接查看 CM is scrapping and aggregating the /metrics pages from the tablet server instances for each tabl
阅读全文
摘要：kudu写入压力大时报错 19/05/18 16:53:12 INFO AsyncKuduClient: Invalidating location fd52e4f930bc45458a8f29ed118785e3(server002:7050) for tablet 4259921cdcca477
阅读全文
摘要：spark2.4.3+kudu1.9 1 批量读 val df = spark.read.format("kudu") .options(Map("kudu.master" -> "master:7051", "kudu.table" -> "impala::test_db.test_table")
阅读全文
摘要：spark-2.4.2kudu-1.7.0 开始尝试 1）自己手工将jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar # bin/spark-shell scala> val df = spar
阅读全文
摘要：flume kudu sink运行一段时间报错： 19/05/05 10:15:56 WARN client.ConnectToCluster: Error receiving a response from: master:7051 org.apache.kudu.client.Recoverab
阅读全文
摘要：kudu安装后运行不正常，master中找不到任何tserver，查看tserver日志发现有很多报错： Failed to heartbeat to master:7051: Invalid argument: Failed to ping master at master:7051: Clien
阅读全文
摘要：关于kudu的primary key The primary key may not be changed after the table is created. You must drop and recreate a table to select a new primary key. 创建之后
阅读全文
摘要：当kudu有tserver下线或者迁移或者修改hostname之后，旧的tserver会一直以dead状态出现，并且tserver日志中会有大量的连接重试日志，一天的错误日志会有几个G， W0322 22:13:59.202749 16927 tablet_service.cc:290] Inval
阅读全文
摘要：kudu中的flume sink代码路径： https://github.com/apache/kudu/tree/master/java/kudu-flume-sink kudu-flume-sink默认使用的producer是 org.apache.kudu.flume.sink.SimpleK
阅读全文
摘要：应用一：kafka数据同步到kudu 1 准备kafka topic # bin/kafka-topics.sh --zookeeper $zk:2181/kafka -create --topic test_sync --partitions 2 --replication-factor 2 WA
阅读全文
摘要：kudu 1.7 官方：https://kudu.apache.org/ 一 简介 kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有
阅读全文
