随笔分类 - [89]Big Data
-
kafka的 groupid 与 auto.offset.reset
摘要:前言: 通常我们消费kafka数据的时候都会设置两个参数: Properties props = new Properties(); props.put("group.id", groupId); props.put("auto.offset.reset", autoOffset); kafka-0 阅读全文
-
实时需要分析
摘要:统计类:读取数据、做简单包装转换map、filter、按某个字段分组,开窗,做聚合 排序| TopN:再做一个ProcessFunction,把所有数据都收集到排序输出;以上是基于DataStreamAPI,也可以用高级API、TableAPI和FlinkSQL业务流程中的状态做检测输出和警告:自定 阅读全文
-
Docker 一步搞定 ZooKeeper 集群的搭建
摘要:Docker 一步搞定 ZooKeeper 集群的搭建 背景 原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 阅读全文
-
大数据
摘要:BAT大数据面试题 https://www.cnblogs.com/suway/p/9606836.html 1、kafka的message包括哪些信息 一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个 阅读全文
-
oracle或mysql定时增量更新索引数据到Elasticsearch
摘要:利用kettle Spoon从oracle或mysql定时增量更新数据到Elasticsearch https://blog.csdn.net/jin110502116/article/details/79690483 背景: 目前的业务数据数据已经很大了,关于查询内的需求比较多,传统数据库已经不能 阅读全文
-
TiDB
摘要:TiDB https://blog.csdn.net/D_Guco/article/details/80641236 由于目前的项目把mysql换成了TiDb,所以特意来了解下tidb。其实也不能说换,由于tidb和mysql几乎完全兼容,所以我们的程序没有任何改动就完成了数据库从mysql到TiD 阅读全文
-
Win10上部署Apollo配置中心
摘要:基于Docker在Win10上部署Apollo配置中心 https://www.jianshu.com/p/a1215056ce75 http://nobodyiam.com/2016/07/09/introduction to apollo/ Apollo 配置详细步骤(Windows环境) ht 阅读全文
-
日志分析系统部署
摘要:ELK+Beats日志分析系统部署 http://www.cnblogs.com/FlyAway2013/p/8485652.html 阅读目录 1.集群部署 2. 安装JDK 1.7 3. 搭建ElasticSearch 4. 搭建Logstash 5. 搭建Kibana 6. 搭建FileBea 阅读全文
-
ELK6.2.4集群
摘要:ELK6.2.4集群安装使用 https://www.cnblogs.com/frankdeng/p/9139035.html 一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速,近实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序 阅读全文
-
log4net将日志写入ElasticSearch
摘要:log4net将日志写入ElasticSearch https://www.cnblogs.com/huangxincheng/p/9120028.html 很多小步快跑的公司,开发人员多则3 4个,面对巨大业务压力,日连夜的赶着上线,快速试错,自然就没时间搭建一些基础设施,比如说logCenter 阅读全文
-
ElasticSearch1.7.1拼音插件elasticsearch-analysis-pinyin-1.3.3使用介绍
摘要:ElasticSearch拼音插件elasticsearch analysis pinyin使用介绍 https://my.oschina.net/xiaohui249/blog/214505 摘要: elasticsearch analysis pinyin是ElasticSearch的一个分词插 阅读全文
-
Elasticsearch中的分词器比较及使用方法
摘要:Elasticsearch 默认分词器和中分分词器之间的比较及使用方法 https://segmentfault.com/a/1190000012553894 介绍:ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 阅读全文
-
Elasticsearch1.x 和Elasticsearch2.x 拼音分词插件lc-pinyin安装教程
摘要:Elasticsearch1.x 基于lc pinyin和ik分词实现 中文、拼音、同义词搜索 https://blog.csdn.net/chennanymy/article/category/6056806 Elasticsearch1.x 拼音分词实现全拼首字母中文混合搜索 https://b 阅读全文
-
ES 1.7安装ik分词elasticsearch-analysis-ik-1.2.5中文同义词实现
摘要:ElasticSearch 中文同义词实现 https://blog.csdn.net/xsdxs/article/details/52806499 参考以下两个网址,但运行报错,以下是我自己改进方式和使用总结。 https://github.com/medcl/elasticsearch anal 阅读全文
-
Windows 64下elasticsearch-1.7.1集群 安装、启动、停止
摘要:elasticsearch 1.7.1 (es Windows 64) 安装、启动、停止的详细记录 https://blog.csdn.net/qq_27093465/article/details/53544541 elastic adj.有弹力的;可伸缩的;灵活的 restful adj.平静的 阅读全文
-
ES 1.7安装ik分词elasticsearch-analysis-ik-1.2.5
摘要:IK简介 https://www.cnblogs.com/yjf512/p/4789239.html https://www.cnblogs.com/xing901022/p/5910139.html https://blog.csdn.net/hyx1990/article/details/528 阅读全文
-
服务追踪数据使用 RabbitMQ 进行采集 + 数据存储使用 Elasticsearch + 数据展示使用 Kibana
摘要:服务追踪数据使用 RabbitMQ 进行采集 + 数据存储使用 Elasticsearch + 数据展示使用 Kibana https://www.cnblogs.com/xishuai/p/elk elasticsearch kibana.html 阅读目录: 1. ELK Stack 简介 2. 阅读全文
-
Metrics+ElasticSearch+grafana
摘要:Metrics+ElasticSearch+grafana——性能监控解决方案 https://blog.csdn.net/Shiyaru1314/article/details/76906461 利用Metrics+ElasticSearch+grafana来构建监控平台 Metrics 采集数据 阅读全文
-
filebeat + logstash + elasticsearch + granfa
摘要:filebeat + logstash + elasticsearch + granfa https://www.cnblogs.com/wenchengxiaopenyou/p/9034213.html 一。背景 前端web服务器为nginx,采用filebeat + logstash + ela 阅读全文
-
ES mapping field修改过程
摘要:Elasticsearch 的坑爹事——记录一次mapping field修改过程 http://www.cnblogs.com/Creator/p/3722408.html Elasticsearch 的坑爹事 本文记录一次Elasticsearch mapping field修改过程 团队使用E 阅读全文