陋室铭
永远也不要停下学习的脚步(大道至简至易)

上一页 1 ··· 27 28 29 30 31 32 33 34 35 ··· 107 下一页
摘要: 作者:战斗民族就是干 转载请注明地址:http://www.cnblogs.com/prayers/p/8982141.html 本篇文章我们来了解一下solr的性能方面的调优,分为Schema优化、索引更新与提交调优、索引合并性能调优、Solr缓存、Solr查询性能优化 Schema优化 1、in 阅读全文
posted @ 2018-08-21 13:50 宏宇 阅读(805) 评论(0) 推荐(0) 编辑
摘要: 作者:战斗民族就是干 转载请注明地址:http://www.cnblogs.com/prayers/p/8822417.html Facet 开门见山,facet解决的就是筛选,我是把它理解为一种聚合。 例如,商品属性中的品牌名称。例如:搜索召回了100个sku,这100个sku里面包含在20个品牌 阅读全文
posted @ 2018-08-21 13:50 宏宇 阅读(183) 评论(0) 推荐(0) 编辑
摘要: 长期以来,我们一直有一个深分页问题。如果直接跳到很靠后的页数,查询速度会比较慢。这是因为Solr的需要为查询从开始遍历所有数据。直到Solr的4.7这个问题一直没有一个很好的解决方案。与最近发布的Solr的版本中,Solr使用了所谓的游标大幅度提高深翻页的性能。 问题 深分页的问题是很清楚。Solr 阅读全文
posted @ 2018-08-21 13:29 宏宇 阅读(494) 评论(0) 推荐(0) 编辑
摘要: 深度分页 深度分页是指给搜索结果指定一个很大的起始位移。 普通分页在给定一个大的起始位移时效率十分低下,例如start=1000000,rows=10的查询,搜索引擎需要找到前1000010条记录然后再返回最后10条。Solr为了最后10条记录只会检索排序字段,但是前1000010条记录的内部排序开 阅读全文
posted @ 2018-08-21 13:26 宏宇 阅读(470) 评论(0) 推荐(0) 编辑
摘要: 通常,我们的应用系统,如果要做一次全量数据的读取,大多数时候,采用的方式会是使用分页读取的方式,然而 分页读取的方式,在大数据量的情况下,在solr里面表现并不是特别好,因为它随时可能会发生OOM的异常,在solr里面 通过rows和start参数,非常方便分页读取,但是如果你的start=1000 阅读全文
posted @ 2018-08-21 13:25 宏宇 阅读(552) 评论(0) 推荐(0) 编辑
摘要: 1. 问题描述 当从数据库中查询大量的数据,每个模板取出来几百万条数据,或者是频繁的刷新项目、模板时就会占用Java虚拟机JVM的大量内存,超过内存就会出现报java.lang.OutOfMemoryError:Java heap space内存一处的错误,具体报错如下: 2. 原因 由于服务器的J 阅读全文
posted @ 2018-08-21 11:16 宏宇 阅读(333) 评论(0) 推荐(0) 编辑
摘要: Solr的defType有dismax/edismax两种,这两种的区别,可参见:http://blog.csdn.net/duck_genuine/article/details/8060026 下面示例用于演示如下场景: 有一网站,在用户查询的结果中,需要按这样排序: 这样的查询排序使用普通的查 阅读全文
posted @ 2018-08-21 11:12 宏宇 阅读(462) 评论(0) 推荐(0) 编辑
摘要: Solr将数据以结构化的方式存入系统中,存储的过程中可以对数据建立索引,这个结构的定义就是通过schema.xml来配置的。 <?xml version="1.0" encoding="UTF-8" ?> <!-- Licensed to the Apache Software Foundation 阅读全文
posted @ 2018-08-21 11:11 宏宇 阅读(316) 评论(0) 推荐(1) 编辑
摘要: 需求分析: 我不想使用solr默认的主键id,我想换成其他的,比如我的文章id为article_id,我想让article_id作为主键。 而且,我的主键是int类型,而solr的主键默认是string类型,我们还需要修改,修改后,还会报错,我们还需要来解决报错问题。 实践: 第一步: 我们需要打开 阅读全文
posted @ 2018-08-21 11:10 宏宇 阅读(657) 评论(0) 推荐(0) 编辑
摘要: 1、types标签下加入如下fieldType 2、fields标签下自定义field的type改为str_lower即可解决 java调用传参不区分大小写,皆可查询到结果 solr查询string类型时,有时需要使之不区分大小写( case insensitive),这时,就需要重新定义数据类型: 阅读全文
posted @ 2018-08-20 13:48 宏宇 阅读(2660) 评论(0) 推荐(0) 编辑
摘要: 博客分类: 上次已经写过一篇关于solr中,查询条件过多的异常的文章,这次在总结扩展一下: 有时候我们的查询条件会非常多,由于solr的booleanquery默认设置的条件数为1024,所以超过这个限制的 会报异常,这样设置的原因是为了限制过多条件查询,降低查询的性能,但有时候又必须这样查,或分析 阅读全文
posted @ 2018-08-17 16:58 宏宇 阅读(924) 评论(0) 推荐(0) 编辑
摘要: solr是基于 lucence开发的应用,如果query中带有非法字符串,结果很可能是检索出所有内容或者直接报错,所以你对用户的输入必须要先做处理。输入星号,能够检索出所有内容;输入加号,则会报错。 官方的处理办法(java,因为solr是java开发的): https://svn.apache.o 阅读全文
posted @ 2018-08-17 16:56 宏宇 阅读(634) 评论(0) 推荐(0) 编辑
摘要: 基于网站seo,做了一采集百度和Google搜索关键字结果的采集.在这里与大家分享一下 先看先效果图 代码附加: View Code 1 private void baidu_Click(object sender, EventArgs e) 2 { 3 int num = 100;//搜索条数 4 阅读全文
posted @ 2018-08-15 15:08 宏宇 阅读(648) 评论(2) 推荐(0) 编辑
摘要: 文献地址:http://wangdg.com/understanding-and-tuning-solr-cache/ 理解Solr缓存及如何设置缓存大小 为了得到最好的检索性能,Solr会在内存中缓存不同的数据: Result Set: 检索结果 Filter: filter query结果 Do 阅读全文
posted @ 2018-08-14 17:39 宏宇 阅读(794) 评论(0) 推荐(0) 编辑
摘要: 缓存在 Solr 中充当了一个非常重要的角色,Solr 中主要有这三种缓存: Filter cache(过滤器缓存),用于保存过滤器(fq 参数)和层面搜索的结果 Document cache(文档缓存),用于保存 lucene 文档存储的字段 Query result(查询缓存),用于保存查询的结 阅读全文
posted @ 2018-08-14 17:38 宏宇 阅读(1344) 评论(0) 推荐(0) 编辑
摘要: 摘要: Solr的Filed中有很多参数,其中的index和store参数让人有点犯晕。 消失的Field 1 上面的这个Field的index和store属性都设置为false。如果你插入一片含有该field的doc到Solr,你会发现不能query这个field,就好像刚才插入的数据丢失了。 异 阅读全文
posted @ 2018-08-14 11:21 宏宇 阅读(535) 评论(0) 推荐(0) 编辑
摘要: 基本说明 Solr是一个开源项目,基于Lucene的搜索服务器,一般用于高级的搜索功能; solr还支持各种插件(如中文分词器等),便于做多样化功能的集成; 提供页面操作,查看日志和配置信息,功能全面。 solr 7 + tomcat 8实现solr 7的安装 Solr自带集成jetty,但是一般都 阅读全文
posted @ 2018-08-14 11:19 宏宇 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 随着umc接入主机的数量越来越多,每天产生的syslog日志数量也在剧增, 之前一天产生的syslog数量才不 到1W,随着整个集团的网络设备不端接入,导致现在每天产生的syslog数量大概在180w左右,而这些syslog对 网络和PE同学排查线上网络设备问题又是十分重要的,他们的要求是可以提供查 阅读全文
posted @ 2018-08-14 11:18 宏宇 阅读(1000) 评论(0) 推荐(0) 编辑
摘要: 本篇是这个系类的最后一篇,但优化方案不仅于此,需要后续的研究与学习,本篇主要从schema设计的角度来做一些实践。 schema.xml 这个文件的作用是定义索引数据中的域的,包括域名称,域类型,域是否索引,是否分词,是否存储,是否标准化,是否存储项向量等等。在solr6中这个文件是存放在zooke 阅读全文
posted @ 2018-08-14 11:13 宏宇 阅读(354) 评论(0) 推荐(0) 编辑
摘要: 之前是使用12台机分布式搜索,1台为主机做索引并分发给子机,8台做大索引搜索服务,3 台做小索引搜索服务,配置基本是内存在4-8G,cpu:2-8core的服务器,索引的大小为8G。搜索的响应时间 是150ms左右。(使用solr架构的搜索服务) 在一次技术群中,中听到一位sina的架构师,他们是采 阅读全文
posted @ 2018-08-14 11:12 宏宇 阅读(366) 评论(20) 推荐(0) 编辑
上一页 1 ··· 27 28 29 30 31 32 33 34 35 ··· 107 下一页