Kafka——系统调优
摘要：操作系统调优 文件描述符限制 ulimit -n 的默认值是1024，此值如果设置得太小，你会碰到 Too Many File Open 这类的错误。因此，我建议在生产环境中适当调大此值，比如将其设置为 655360。 vim /etc/security/limits.conf # 加入以下配置，重
阅读全文
posted @ 2019-10-31 10:12
10 2019 档案
HBase管理与监控——强制删除表
摘要：在用phoenix创建Hbase表时，有时会提示创建失败，发现Hbase中又已创建成功， 但这些表在进行enable、disable、drop都无效，也无法删除： hbase(main):004:0> enable 'TERMINAL_DETAIL_DATA' ##如下异常： ERROR: org.
阅读全文
posted @ 2019-10-31 09:58
HBase管理与监控——HBase region is not online
摘要：发现有些regison程序操作失败，其他region 都是正常的，重启regionserver 后依然报同样的错误。 首先进入hbase的bin目录，执行下面命令检查表是否有存储一致性问题： 如出现以下提示，则说明有不一致的地方，2表示个数： 既然不一致，咱就尝试修复一下（这个功能要管理权限，使用慎
阅读全文
posted @ 2019-10-31 09:39
HBase——系统调优
摘要：JVM层 HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，它的主要任务有2个：一、管理Hbase Table的 DDL操作， 二、region的分配工作，任务不是很艰巨。 但是如果采用默认自动split region的方式，HMaster会稍微忙一些，负载不大，可适度对
阅读全文
posted @ 2019-10-29 20:28
Kafka——彻底删除Topic
摘要：一、配置 server.properties 设置 delete.topic.enable=true 如果没有设置 delete.topic.enable=true，则调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion） 二、停止消费 如果需
阅读全文
posted @ 2019-10-27 17:16
HBase管理与监控——彻底删除HBase数据
摘要：1、hadoop的bin目录下，执行命令以下命令清除Hbase数据 2、连接ZK，执行以下命令清除Hbase数据 3、重启ZK、重启hadoop（hdfs、yarn）、重启hbase
阅读全文
posted @ 2019-10-27 13:46
phoenix创建表失败：phoenixIOException: Max attempts exceeded
摘要：下面的问题，搞了1天才解决，太坑了，在这里记录一下。 问题现像：执行命令后，1分钟没有返回， 然后报下面的错，偶尔会出现以下不同的报错信息。 jdbc:phoenix:10.0.xx.1:2181> create table IF NOT EXISTS test.Person1 (IDCardNum
阅读全文
posted @ 2019-10-27 13:35
Kafka——指定位移消费（回溯消费）
摘要：前言 消费者在消费消息时会根据之前提交的消费位移offset去kafka拉取offset之后的消息进行消费。但是一些情况下消费者开始消费时会没有消费位移： 一个新的消费组建立的时候； 消费组内的一个新的消费者订阅了一个新的主题； __consumer_offsets主题中关于这个消费组的位移信息已经
阅读全文
posted @ 2019-10-16 11:21
