随笔分类 - 大数据/架构师
摘要：无论是内置的分析器（analyzer），还是自定义的分析器（analyzer），都由三种构件块组成的：character filters ， tokenizers ， token filters。 内置的analyzer将这些构建块预先打包到适合不同语言和文本类型的analyzer中。 Charac
阅读全文
摘要：1. 概述 Java REST Client 有两种风格： Java Low Level REST Client ：用于Elasticsearch的官方低级客户端。它允许通过http与Elasticsearch集群通信。将请求编排和响应反编排留给用户自己处理。它兼容所有的Elasticsearch版
阅读全文
摘要：es 查看正在执行的任务 可以在kiabna执行 curl -XGET "http://*:9200/_nodes/hot_threads" 查看CPU占用高的线程 可以在kiabna执行 curl -XGET "http://*:9200/_nodes/hot_threads" 参考 https:
阅读全文
摘要：搭建非常简单 设置好配置文件 配置好es目录的用户权限(es不能以root账号启动) 注意 创建账号生成KEY的时候 用elastic默认账号才行 本次环境 证书key qweasdzxc. https://www.cnblogs.com/cfas/p/15951449.html 配置账号密码 包括
阅读全文
摘要：HMaster 进程无法启动起来 日志中报 Cannot seek after EOF 这个问题直接导致日志中最后会出现master.HMaster: Failed to become active master真的是这样吗？其实不是，仔细观察 Cannot seek after EOF 日志哪一行
阅读全文
摘要：用惯了SQL语法，在开发过程中，有时想验证一些数据的时候，用nosql不太方便，Apache Drill 就是为了解决这个问题。https://drill.apache.org/https://blog.csdn.net/bg1017759447/article/details/101977447h
阅读全文
摘要：kettle 这工具目前用起来感觉还不错。 数据同步时乱码的问题 没有驱动的问题 很多时候一些数据库管理工具对目标数据库进行管理的时候，都需要连接数据库的驱动，kettle没有驱动会报下面的错误 错误连接数据库 [24] : org.pentaho.di.core.exception.KettleD
阅读全文
摘要：ln -s /usr/local/apps/hbase-2.3.5/conf/hbase-site.xml hbase-site.xml 1）、将phoenix安装目录下的 phoenix-4.8.0-HBase-0.98-client.jar phoenix-core-4.8.0-HBase-0.
阅读全文
摘要：下载包 官网选择合适的操作系统版本下载tgz包 https://www.mongodb.com/download-center/community 部署结构 集群结构 典型的三分片Mongo集群如下图所示，包含三类组件：查询路由、配置服务器、分片。其中查询路由为mongos进程，配置服务器和分片都是
阅读全文
摘要：##Hbase开发-hbase连接-查询-插入-表数据统计-orm 封装了一个丐版的基于HBASE的ORM框架，需要的加我QQ 184377367 springboot依赖 <!-- hbase 客户端 --> <dependency> <groupId>org.apache.hbase</grou
阅读全文
摘要：hadoop开发 大数据交流Q群 481975850 https://blog.csdn.net/liuchuanhong1/article/details/53118534 hbase概念和常用指令 https://blog.csdn.net/vbirdbest/article/details/8
阅读全文
摘要：序 大数据 搭建/开发/运维交流Q群 481975850 1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是
阅读全文
摘要：相关的环境都可以在官网下载 本次环境 win10 es 7.4.2 kibana 7.4.2 https://www.elastic.co/cn/downloads/past-releases#elasticsearch 搭建教程：虽然版本不一样，但功效一样。完全没有问题 https://www.c
阅读全文
摘要：版本 截止到2022-3-29 还是canal.deployer1.1.4稳定！其他的都会报怪米日眼的问题。。 canal系列的梳理 canal-server 作为服务端像canal-client推送数据 canal-adapter 这玩意儿是自定义处理binlog时可以用到的项目.. canal.
阅读全文
摘要：1 安装Elasticsearch# Elasticsearch安装链接 1、下载Elastucsearch安装包（Windows版本）2、将elasticsearch-7.15.0-windows-x86_64.zip文件解压出来3、进入解压后的文件目录elasticsearch-7.15.0 b
阅读全文
摘要：一、背景 随着业务量和用户数量的激增，单一的tomcat部署应用已经无法满足性能需求，而且对于每次发布项目期间服务不可用的问题也凸显，既然出现了这个问题，那么我们本文就借助nginx来完美的解决这个问题。 二、基本概念 1.说明：关于Nginx的概念和介绍以及Centos7下安装步骤，请移步：Cen
阅读全文
摘要：没做过支付，不考虑细节，随便聊聊1. 首先要解决掉数据库的压力，3万qps对应的磁盘 iops 很大，不过现在好的 SSD 能提供很好的 iops, 比如这款： ARKIntel® SSD DC P3700 Series (800GB, 单盘 90000 IOPS，应该能撑住你的数据库，考虑到主备，
阅读全文
摘要：分区：对业务透明，分区只不过把存放数据的文件分成了许多小块，例如mysql中的一张表对应三个文件.MYD,MYI,frm。 根据一定的规则把数据文件(MYD)和索引文件（MYI）进行了分割，分区后的表呢，还是一张表。分区可以把表分到不同的硬盘上，但不能分配到不同服务器上。 优点：数据不存在多个副本，
阅读全文
