曹伟雄

摘要： 位置 在Logstash的.conf配置文件中的output中配置ElasticSearch 示例： output { elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-M 阅读全文

摘要： 前言： 最近在使用elasticSearch中发现有些数据查不出来，于是研究了一下，发现是分词导致的，现梳理并总结一下。 ElasticSearch 5.0以后，string类型有重大变更，移除了string类型，string字段被拆分成两种新的数据类型: text用于全文搜索的,而keyword用 阅读全文

摘要： 操作系统调优 文件描述符限制 ulimit -n 的默认值是1024，此值如果设置得太小，你会碰到 Too Many File Open 这类的错误。因此，我建议在生产环境中适当调大此值，比如将其设置为 655360。 vim /etc/security/limits.conf # 加入以下配置，重 阅读全文

摘要： 在用phoenix创建Hbase表时，有时会提示创建失败，发现Hbase中又已创建成功， 但这些表在进行enable、disable、drop都无效，也无法删除： hbase(main):004:0> enable 'TERMINAL_DETAIL_DATA' ##如下异常： ERROR: org. 阅读全文

摘要： 发现有些regison程序操作失败，其他region 都是正常的，重启regionserver 后依然报同样的错误。 首先进入hbase的bin目录，执行下面命令检查表是否有存储一致性问题： 如出现以下提示，则说明有不一致的地方，2表示个数： 既然不一致，咱就尝试修复一下（这个功能要管理权限，使用慎 阅读全文

摘要： JVM层 HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，它的主要任务有2个：一、管理Hbase Table的 DDL操作， 二、region的分配工作，任务不是很艰巨。 但是如果采用默认自动split region的方式，HMaster会稍微忙一些，负载不大，可适度对 阅读全文

摘要： 一、配置 server.properties 设置 delete.topic.enable=true 如果没有设置 delete.topic.enable=true，则调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion） 二、停止消费 如果需 阅读全文

摘要： 1、hadoop的bin目录下，执行命令以下命令清除Hbase数据 2、连接ZK，执行以下命令清除Hbase数据 3、重启ZK、重启hadoop（hdfs、yarn）、重启hbase 阅读全文

摘要： 下面的问题，搞了1天才解决，太坑了，在这里记录一下。 问题现像：执行命令后，1分钟没有返回， 然后报下面的错，偶尔会出现以下不同的报错信息。 jdbc:phoenix:10.0.xx.1:2181> create table IF NOT EXISTS test.Person1 (IDCardNum 阅读全文

摘要： 前言 消费者在消费消息时会根据之前提交的消费位移offset去kafka拉取offset之后的消息进行消费。但是一些情况下消费者开始消费时会没有消费位移： 一个新的消费组建立的时候； 消费组内的一个新的消费者订阅了一个新的主题； __consumer_offsets主题中关于这个消费组的位移信息已经 阅读全文