2019 年 11月随笔档案 - 曹伟雄

ElasticSearch——原始文档和倒排索引

摘要：一、原始文档如上图所示, 第二象限是一份原始文档，有title和content2个字段，字段取值分别为”我是中国人”和” 热爱共X产党”，这一点没什么可解释的。我们把原始文档写入Elasticsearch，默认情况下，Elasticsearch里面有2份内容，一份是原始文档，也就是_source字阅读全文

posted @ 2019-11-30 11:11 曹伟雄阅读(737) 评论(0) 推荐(0) 编辑

Canal——Canal-Adapter源码在IDEA部署运行

摘要：一、下载源码下载地址：https://github.com/alibaba/canal 我这里用的是canal-1.1.4版本源码结构 client-adapter项目就是本次要部署运行的源码导入到IDEA中的结构如下：二、安装配置找到manven模块中有root的那个模块，然后点击ins 阅读全文

posted @ 2019-11-30 10:45 曹伟雄阅读(4875) 评论(2) 推荐(3) 编辑

ElasticSearch——分页查询

摘要：前言 ElasticSearch实现分页查询，有3种方式，他们在数据查询中各自占据着不同的优势，因此在搜索引擎的数据分页过程中，如何更好地利用各自的优势来进行数据查询是一个非常重要的过程。传统分页（from&size）按照一般的查询流程来说，如果我们想查询前10条数据：客户端请求发送给某个节点阅读全文

posted @ 2019-11-26 18:23 曹伟雄阅读(7188) 评论(0) 推荐(0) 编辑

Canal——写入到ES中数据错乱

摘要：问题描述使用canal-adapter写入elasticSearch数据时，数据是写入了elasticSearch了，但出现了mysql表中的数据和elasticSearch中索引中的数据错乱的问题，即把A列的数据放到了B列中的。研究了半天，发现是因为我在测试过程中，换过另外1个数据库，这2个库阅读全文

posted @ 2019-11-22 17:06 曹伟雄阅读(1580) 评论(0) 推荐(0) 编辑

HBase管理与监控——WebUI

摘要：一、Region Server栏信息 Requests Per Second，每秒读或写请求次数，可以用来监控HBase请求是否均匀。如果不均匀需排查是否为建表的region划分不合理造成。 Num. Regions，每个Regionserver节点上的region个数，观察每个节点的region个阅读全文

posted @ 2019-11-19 20:10 曹伟雄阅读(5467) 评论(0) 推荐(0) 编辑

HBase管理与监控——统计表行数

摘要：背景 HBase统计 RowCount 的方法有好几种，并且执行效率差别巨大，以下3种方法效率依次提高。一、hbase-shell的count命令这是最简单直接的操作，但是执行效率非常低，适用于百万级以下的小表RowCount统计。此操作可能需要很长时间，来运行计数MapReduce作业。默认阅读全文

posted @ 2019-11-19 19:53 曹伟雄阅读(1109) 评论(0) 推荐(0) 编辑

Mysql——索引相关

摘要：索引失效的情况：随着表的增长，where条件出来的数据太多，大于20%左右，使得索引失效（会导致CBO计算走索引花费大于走全表）阅读全文

posted @ 2019-11-19 15:50 曹伟雄阅读(124) 评论(0) 推荐(0) 编辑

HBase管理与监控——HMaster或HRegionServer自动停止挂掉

摘要：问题描述 HBase在运行一段时间后，会出现以下2种情况： 1、HMaster节点自动挂掉；通过jps命令，发现HMaster进程没了，只剩下HRegionServer，此时应用还能正常往HBase写入数据此时以下界面无法打开： 2、HRegionServer节点自动挂掉通过jps命令，发现H 阅读全文

posted @ 2019-11-16 17:54 曹伟雄阅读(10580) 评论(0) 推荐(1) 编辑

Python——使用Notepad++运行

摘要：安装安装python，安装完后找到python.exe，记录绝对路径，我的是：E:\log\python-3.7.4\python.exe 设置用Notepad++打开python脚本，按F5会弹出以下框，输入以下命令： cmd /k 此处填入上一步记录的路径 "$(FULL_CURRENT_P 阅读全文

posted @ 2019-11-16 15:03 曹伟雄阅读(638) 评论(0) 推荐(0) 编辑

HBase管理与监控——Dead Region Servers

摘要：【问题描述】在持续批量写入HBase的情况下，出现了Dead Region Servers的情况。集群会把dead掉节点上的region自动分发到另外2个节点上，集群还能继续运行，只是少了1个节点。【解决方案】重启HBase集群，dead掉的那个节点又恢复正常了。集群又会重新分配region到阅读全文

posted @ 2019-11-14 12:38 曹伟雄阅读(2863) 评论(0) 推荐(0) 编辑

Kibana——安装部署

摘要：1.准备 JDK：1.8版本及以上； Kibana：6.2.4版本； 2.安装 2.1.下载解压 wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz mkdir /opt/elk/ki 阅读全文

posted @ 2019-11-09 16:43 曹伟雄阅读(950) 评论(0) 推荐(0) 编辑

ElasticSearch——集群搭建

摘要：1.准备 1.1.组件 JDK：1.8版本及以上； ElasticSearch：6.2.4版本； 1.2.服务器 3台服务器 2.安装 2.1.下载解压 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6 阅读全文

posted @ 2019-11-09 15:45 曹伟雄阅读(1440) 评论(1) 推荐(0) 编辑

Canal——增量同步MySQL数据到ElasticSearch

摘要：前言本篇只介绍 TCP模式下详细的canal相关配置。高可用请参考文章：【Canal——高可用架构设计与应用】 Kafka模式请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 1.准备 1.1.组件 JDK：阅读全文

posted @ 2019-11-09 13:00 曹伟雄阅读(27587) 评论(6) 推荐(4) 编辑

Canal——原理架构及应用场景

摘要：Canal简介 Canal是阿里开源的一款基于Mysql数据库binlog的增量订阅和消费组件，通过它可以订阅数据库的binlog日志，然后进行一些数据消费，如数据镜像、数据异构、数据索引、缓存更新等。相对于消息队列，通过这种机制可以实现数据的有序化和一致性。 github地址：https://gi 阅读全文

posted @ 2019-11-09 10:22 曹伟雄阅读(18355) 评论(0) 推荐(3) 编辑

Jenkins——增加应用编译部署

摘要：新建Item：源码配置：构建环境配置： #!/usr/bin/bash source /etc/profile tomcat_home="/home/mppay/apache-tomcat-8.5.40-monitor/" folder="/opt/backup" uploadfolder="/ 阅读全文

posted @ 2019-11-07 17:33 曹伟雄阅读(434) 评论(0) 推荐(0) 编辑

ElasticSearch、Logstash管理和监控——blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]

摘要：1、某一天出现Kafka堆积大量未消费的记录： 2、该主题是用logstash进行消费的，然后查询logstash的日志（logstash/logs/logstash-plain.log），出现以下提示信息： 3、从上述日志可以看出，是输出到elasticsearch阻塞了，原因是相应的索引变成re 阅读全文

posted @ 2019-11-07 09:56 曹伟雄阅读(2067) 评论(0) 推荐(0) 编辑

Mysql——常用命令

摘要：查看版本：show variables like '%version%' 或者 select version() 是否开启binlog：show variables like 'log_bin' binlog格式：show variables like 'binlog_format' 查看binlo 阅读全文

posted @ 2019-11-06 10:58 曹伟雄阅读(138) 评论(0) 推荐(0) 编辑

ElasticSearch——常用命令

摘要：集群相关 --查询集群健康状态 GET _cluster/health --查询所有节点 GET _cat/nodes --查询索引及分片的分布 GET _cat/shards--查询指定索引分片的分布GET _cat/shards/order_stpprdinf_2019-12?v --查询所有插阅读全文

posted @ 2019-11-04 14:52 曹伟雄阅读(4384) 评论(0) 推荐(1) 编辑

ElasticSearch——自定义模板

摘要：output中配置 elasticsearch{ action => "index" hosts => ["xxx"] index => "http-log-logstash" document_type => "logs" template => "opt/http-logstash.json" 阅读全文

posted @ 2019-11-04 12:24 曹伟雄阅读(5828) 评论(0) 推荐(0) 编辑

ElasticSearch——Logstash输出到Elasticsearch配置

摘要：位置在Logstash的.conf配置文件中的output中配置ElasticSearch 示例： output { elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-M 阅读全文

posted @ 2019-11-04 12:10 曹伟雄阅读(30879) 评论(0) 推荐(0) 编辑

ElasticSearch——分词

摘要：前言：最近在使用elasticSearch中发现有些数据查不出来，于是研究了一下，发现是分词导致的，现梳理并总结一下。 ElasticSearch 5.0以后，string类型有重大变更，移除了string类型，string字段被拆分成两种新的数据类型: text用于全文搜索的,而keyword用阅读全文

posted @ 2019-11-04 11:34 曹伟雄阅读(1396) 评论(0) 推荐(1) 编辑

曹伟雄

11 2019 档案