随笔分类 - 架构设计
摘要：Quartz 并发/单线程 Quartz定时任务默认都是并发执行的，不会等待上一次任务执行完毕，只要间隔时间到就会执行, 如果定时任执行太长，会长时间占用资源，导致其它任务堵塞。1.在Spring中这时需要设置concurrent的值为false, 禁止并发执行。 <propert
阅读全文
摘要：离线分析系统的结构图 整个离线分析的总体架构就是使用Flume从FTP服务器上采集日志文件，并存储在Hadoop HDFS文件系统上，再接着用Hadoop的mapreduce清洗日志文件，最
阅读全文
摘要：Elasticsearch中数据都存储在分片中，当执行搜索时每个分片独立搜索后，数据再经过整合返回。那么，如果要实现分页查询该怎么办呢？ 更多内容参考Elasticsearch资料汇总 按照一般的查询流程来说，如果我想查询前10条数据： 1 客户端请求发给某个节点 2 节点转发给个个分片，查询每个分
阅读全文
摘要：百度url解析Joe.Smith整理大全 百度url解析Joe.Smith整理大全...1 本文链接：http://blog.csdn.net/qq_26816591/article/details/53335987 t23 所给出的 参考百度rul: https://www.baidu
阅读全文
摘要：http://www.baidu.com/s?wd=关键字 wd(Keyword)：查询的关键词； http://www.baidu.com/s?wd=关键字&cl=3 cl(Class)：搜索类型，cl=3为网页搜索，cl=2为图片搜索； http://video.
阅读全文
摘要：1. from+size 实现分页 from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10， 注意：size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。 如果搜索size大于10000，需要设置index.max
阅读全文
摘要：谷歌分布式三宝 BigTable、GFS、MapReduce这传说中的谷歌分布式三驾马车，虽然谷歌没有公开具体实现代码，但却公布了相应论文，对分布式文件系统、大数据挖掘和NoSQL流行起了重大促进作用，开源界相对应产品是Hbase、HDFS、Hadoop;距谷歌这三篇论文发表已近10年，谷歌内部这三
阅读全文
摘要：温馨提示：本论文由厦门大学计算机系林子雨翻译自英文论文，转载请注明出处，仅用于学习交流，请勿用于商业用途。 [本文翻译的原始出处：厦门大学计算机系数据库实验室网站林子雨老师的云数据库技术资料专区http://dblab.xmu.edu.cn/topic/research/documentation/
阅读全文
摘要：开发四年只会写业务代码，分布式高并发都不会还做程序员？ >>> Google Spanner简介 Spanner 是Google的全球级的分布式数据库 (Globally Distributed Database) 。Spanner的扩展性达到了令人咋舌的
阅读全文
摘要：<! flowchart 箭头图标 勿删 常见深度分页方式 from+size 另一种分页方式 scroll scroll + scan search_after 的方式 es 库 scroll search 的实现 常见深度分页方式 from+size es 默认采用的分页方式是 from+ si
阅读全文
摘要：Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale,Relevance等方面的很多新特性。比快更快，有传说中的那么牛逼吗？盘他！通过本文，你能了解到：Elasticsearch&Kibana 7.部署体验Elasticsearch7 革命性更新Elast
阅读全文
摘要：了解about云知识星球.pcb{margin right:0} ! 右下角 (adsbygoogle = window.adsbygoogle || []).push({}); 问题导读 1.Elasticsearch&Kibana 7.哪些需要修改？ 2.Elasticsearch7
阅读全文
摘要：! 右下角 (adsbygoogle = window.adsbygoogle || []).push({}); 问题导读 1.Elasticsearch&Kibana 7.哪些需要修改？ 2.Elasticsearch7 有哪些新特性？ 3.Elasticsearch 7升级有哪些注意事
阅读全文
摘要：目录 1，首先创建主搜索请求： 2，对主搜索请求进行参数设置 前端几节都是介绍的基于单个文档或着单个文档库的操作， 本节开始将介绍基于所有或指定的任何个数文档库的操作的api &
阅读全文
摘要：本次分享主要包含两个方面的实战经验：索引性能和查询性能。 一. 索引性能（Index Performance） 首先要考虑的是，索引性能是否有必要做优化？ 索引速度提高与否？主要是看瓶颈在什么地方，若是 Read DB（产生DOC）的速度比较慢，那瓶颈不在 ElasticSearch 时，优化就没那
阅读全文
摘要：ElasticSearch的River机制 ElasticSearch自身提供了一个River机制，用于同步数据。 这里能够找到官方眼下推荐的River： http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/ 可是官方
阅读全文
摘要：背景 公司有一个业务场景，数据库的修改需要同步到Elasticsearch里，但是该场景的修改频率有点高，经常会出现一条记录短时间内多次的变化，如果每次变化都作为一次ES同步任务，那ES肯定是受不住的。 思路 通过估算请求规模，主要有如下2方面的解决思路： 高频变化去重：因为同一条记录短时间内多次变
阅读全文
摘要： springboot2本地锁实践一文中提到用Guava Cache实现锁机制，但在集群中就行不通了，所以我们还一般要借助类似Redis、ZooKeeper 之类的中间件实现分布式锁，下面我们将利用自定义注解、Spring Aop、Redis Cache
阅读全文
摘要：1、题记 工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。 希望能借助“工具”提高开发、运维效率！ 2、工具分类概览 2.1 基础类工具 1、Head插件 1）功能概述： ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查操作）比较
阅读全文
摘要：数据平台已迭代三个版本，从一开始遇到很多常见的难题，到现在终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，但愿能帮助大家少走些弯路，在此篇幅中偏重于ElasticSearch的优化。 一、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天
阅读全文