陋室铭
永远也不要停下学习的脚步(大道至简至易)

posts - 2167,comments - 570,views - 413万
08 2018 档案
《异度神剑2》与犹太教卡巴拉略考
摘要：转：https://www.g-cores.com/articles/95166 犹太教秘教中最核心的思想之一叫做卡巴拉。而卡巴拉的另一个名字就是世界树。 上一篇文章反馈之热烈，超出笔者预想：一方面能力所限，承认撰文时的捉襟见肘；另一方面欣喜于达到了抛砖引玉的作用，引出了更多观点，学到了不少知识。对 阅读全文
posted @ 2018-08-31 16:32 宏宇 阅读(792) 评论(0) 推荐(0) 编辑
《异度神剑2》与柏拉图的精神世界略考（上）
摘要：转：https://www.g-cores.com/articles/95065 这一趟旅途从日漫开始，旅经了柏拉图的坟墓，终于犹太先民的光辉之书 导语：在严重影响睡眠，生活，工作的情况下，历时120小时不紧不慢的乐园之旅终于告一段落，我从乐园回来了。这一趟旅途从一场日漫开始，旅经了柏拉图的坟墓，终 阅读全文
posted @ 2018-08-31 16:31 宏宇 阅读(923) 评论(0) 推荐(0) 编辑
SQL Server 查询性能优化——创建索引原则（一）
摘要：索引是什么？索引是提高查询性能的一个重要工具，索引就是把查询语句所需要的少量数据添加到索引分页中，这样访问数据时只要访问少数索引的分页就可以。但是索引对于提高查询性能也不是万能的，也不是建立越多的索引就越好。索引建少了，用WHERE子句找数据效率低，不利于查找数据。索引建多了，不利于新增、修改和删除 阅读全文
posted @ 2018-08-31 15:49 宏宇 阅读(247) 评论(0) 推荐(0) 编辑
SqlServer性能优化 查询和索引优化（十二）
摘要：查询优化的过程： 查询优化： 功能：分析语句后最终生成执行计划 分析：获取操作语句参数 索引选择 Join算法选择 创建测试的表： 1 select * into EmployeeOp from AdventureWorks2014.HumanResources.Employee 建立非聚集索引： 阅读全文
posted @ 2018-08-30 09:22 宏宇 阅读(421) 评论(0) 推荐(0) 编辑
SqlServer性能优化 通过压缩与计算列提高性能（十一）
摘要：压缩: 1.压缩的对象 1.表 2.索引（非聚集索引手工做） 3.备份（手工做） 2.对性能影响 1.提高IO性能 2.降低CPU性能 行压缩： 1.对null值不占用空间 2.对Numeric值不占用空间 页压缩： 1.行压缩 2.前缀压缩 3.字典压缩 实例： 准备表数据： 1 2 3 4 5 阅读全文
posted @ 2018-08-30 09:21 宏宇 阅读(515) 评论(0) 推荐(0) 编辑
json与bson的区别
摘要：bson是由10gen开发的一个数据格式，目前主要用于mongoDB中，是mongoDB的数据存储格式。bson基于json格式，选择json进行改造的原因主要是json的通用性及json的schemaless的特性。 bson主要会实现以下三点目标： 1.更快的遍历速度 对json格式来说，太大的 阅读全文
posted @ 2018-08-24 16:42 宏宇 阅读(427) 评论(0) 推荐(0) 编辑
浅析Redis 和MongoDB
摘要：今天来聊聊什么事nosql，一听nosql也许很多人会觉得很高大上的感觉，但其实接触过了也还觉得还行,随着当今数据的疯狂爆炸性的增长，传统的RDBMS也越来越暴露出他的不足之处，所以，作为一名合格的程序员，有必要了解一下，近几年新出现的nosql的概念，nosql可以理解为"not only sql 阅读全文
posted @ 2018-08-24 15:29 宏宇 阅读(173) 评论(0) 推荐(0) 编辑
Solr DocValues详解
摘要：前言： 在Lucene4.x之后，出现一个重大的特性，就是索引支持DocValues，这对于广大的solr和elasticsearch用户，无疑来说是一个福音，这玩意的出现通过牺牲一定的磁盘空间带来的好处主要有两个： （1）节省内存 （2）对排序，分组和一些聚合操作时能够大大提升性能 下面来详细介绍 阅读全文
posted @ 2018-08-23 11:42 宏宇 阅读(2477) 评论(0) 推荐(0) 编辑
字符串中判断存在的几种模式和效率(string.contains、string.IndexOf、Regex.Match)
摘要：通常情况下，我们判断一个字符串中是否存在某值常常会用string.contains，其实判断一个字符串中存在某值的方法有很多种，最常用的就是前述所说的string.contains，相对来说比较常用的还有string.IndexOf和Regex.Match。直接上代码，后面在说些什么吧，通常情况下功 阅读全文
posted @ 2018-08-23 11:24 宏宇 阅读(524) 评论(0) 推荐(0) 编辑
正则表达式和字符串处理
摘要：第一章 正则表达式概述 正则表达式(Regular Expression)起源于人类神经系统的研究。正则表达式的定义有以下几种： l 用某种模式去匹配一类字符串的公式，它主要是用来描述字符串匹配的工具。 l 描述了一种字符串匹配的模式。可以用来检查字符串是否含有某种子串、将匹配的子串做替换或者从中取 阅读全文
posted @ 2018-08-23 11:23 宏宇 阅读(2692) 评论(0) 推荐(0) 编辑
Solr查询参数sort（排序）
摘要：摘要： Solr查询每一次返回的数据都有一定的顺序，特定顺序的结果对于业务来说可能非常重要。 不指定排序 一般我们不指定排序规则，这样的结果能满足大部分需求，默认是用文档的得分作为排序标准。相当于加上了参数sort=score desc，这里的score是solr的一个隐藏字段，衡量这个文档对于该查 阅读全文
posted @ 2018-08-23 09:53 宏宇 阅读(5991) 评论(0) 推荐(0) 编辑
Solr合并索引方式
摘要：索引合并并不会判断uniqueKey，所以主键有重复不会判断主键会重复。 官方的解释是不要有重复。 要合并索引，它们必须满足以下要求： 这两个索引必须兼容：它们的架构应该包含相同的字段，并且它们应该以相同的方式分析字段。 索引不得包含重复的数据。 1, Solr 合并索引数据有两种方法，第一种是 1 阅读全文
posted @ 2018-08-21 17:01 宏宇 阅读(470) 评论(0) 推荐(0) 编辑
solr研磨之游标分页
摘要：作者：战斗民族就是干 转载请注明地址：http://www.cnblogs.com/prayers/p/8986498.html 普通分页 当需要深度分页的时候，比如查询第10000页数据，每页显示10条，意味着需要提取前10000 x 10 页的数据，并将这100000条数据缓存在内存中，然后在内 阅读全文
posted @ 2018-08-21 13:51 宏宇 阅读(316) 评论(0) 推荐(0) 编辑
solr研磨之性能调优
摘要：作者：战斗民族就是干 转载请注明地址：http://www.cnblogs.com/prayers/p/8982141.html 本篇文章我们来了解一下solr的性能方面的调优，分为Schema优化、索引更新与提交调优、索引合并性能调优、Solr缓存、Solr查询性能优化 Schema优化 1、in 阅读全文
posted @ 2018-08-21 13:50 宏宇 阅读(830) 评论(0) 推荐(0) 编辑
solr研磨之facet
摘要：作者：战斗民族就是干 转载请注明地址：http://www.cnblogs.com/prayers/p/8822417.html Facet 开门见山，facet解决的就是筛选，我是把它理解为一种聚合。 例如，商品属性中的品牌名称。例如：搜索召回了100个sku，这100个sku里面包含在20个品牌 阅读全文
posted @ 2018-08-21 13:50 宏宇 阅读(186) 评论(0) 推荐(0) 编辑
Solr游标查询提高翻页效率
摘要：长期以来，我们一直有一个深分页问题。如果直接跳到很靠后的页数，查询速度会比较慢。这是因为Solr的需要为查询从开始遍历所有数据。直到Solr的4.7这个问题一直没有一个很好的解决方案。与最近发布的Solr的版本中，Solr使用了所谓的游标大幅度提高深翻页的性能。 问题 深分页的问题是很清楚。Solr 阅读全文
posted @ 2018-08-21 13:29 宏宇 阅读(500) 评论(0) 推荐(0) 编辑
solr使用cursorMark做深度分页
摘要：深度分页 深度分页是指给搜索结果指定一个很大的起始位移。 普通分页在给定一个大的起始位移时效率十分低下，例如start=1000000,rows=10的查询，搜索引擎需要找到前1000010条记录然后再返回最后10条。Solr为了最后10条记录只会检索排序字段，但是前1000010条记录的内部排序开 阅读全文
posted @ 2018-08-21 13:26 宏宇 阅读(483) 评论(0) 推荐(0) 编辑
Solr中使用游标进行深度分页查询以提高效率（适用的场景下）
摘要：通常，我们的应用系统，如果要做一次全量数据的读取，大多数时候，采用的方式会是使用分页读取的方式，然而 分页读取的方式，在大数据量的情况下，在solr里面表现并不是特别好，因为它随时可能会发生OOM的异常，在solr里面 通过rows和start参数，非常方便分页读取，但是如果你的start=1000 阅读全文
posted @ 2018-08-21 13:25 宏宇 阅读(586) 评论(0) 推荐(0) 编辑
内存大小设置 Java heap space错误
摘要：1. 问题描述 当从数据库中查询大量的数据，每个模板取出来几百万条数据，或者是频繁的刷新项目、模板时就会占用Java虚拟机JVM的大量内存，超过内存就会出现报java.lang.OutOfMemoryError:Java heap space内存一处的错误，具体报错如下： 2. 原因 由于服务器的J 阅读全文
posted @ 2018-08-21 11:16 宏宇 阅读(334) 评论(0) 推荐(0) 编辑
solr defType查询权重排序
摘要：Solr的defType有dismax/edismax两种，这两种的区别，可参见：http://blog.csdn.net/duck_genuine/article/details/8060026 下面示例用于演示如下场景： 有一网站，在用户查询的结果中，需要按这样排序： 这样的查询排序使用普通的查 阅读全文
posted @ 2018-08-21 11:12 宏宇 阅读(464) 评论(0) 推荐(0) 编辑
Solr：Schema设计
摘要：Solr将数据以结构化的方式存入系统中，存储的过程中可以对数据建立索引，这个结构的定义就是通过schema.xml来配置的。 <?xml version="1.0" encoding="UTF-8" ?> <!-- Licensed to the Apache Software Foundation 阅读全文
posted @ 2018-08-21 11:11 宏宇 阅读(322) 评论(0) 推荐(1) 编辑
solr学习（六）：使用自定义int/long类型主键
摘要：需求分析： 我不想使用solr默认的主键id，我想换成其他的，比如我的文章id为article_id，我想让article_id作为主键。 而且，我的主键是int类型，而solr的主键默认是string类型，我们还需要修改，修改后，还会报错，我们还需要来解决报错问题。 实践： 第一步： 我们需要打开 阅读全文
posted @ 2018-08-21 11:10 宏宇 阅读(679) 评论(0) 推荐(0) 编辑
solr 忽略大小写
摘要：1、types标签下加入如下fieldType 2、fields标签下自定义field的type改为str_lower即可解决 java调用传参不区分大小写，皆可查询到结果 solr查询string类型时，有时需要使之不区分大小写（ case insensitive），这时，就需要重新定义数据类型： 阅读全文
posted @ 2018-08-20 13:48 宏宇 阅读(2686) 评论(0) 推荐(0) 编辑
solr 请求参数过长报错，Solr配置maxBooleanClauses属性不生效原因分析
摘要：博客分类： 上次已经写过一篇关于solr中，查询条件过多的异常的文章，这次在总结扩展一下： 有时候我们的查询条件会非常多，由于solr的booleanquery默认设置的条件数为1024，所以超过这个限制的 会报异常，这样设置的原因是为了限制过多条件查询，降低查询的性能，但有时候又必须这样查，或分析 阅读全文
posted @ 2018-08-17 16:58 宏宇 阅读(980) 评论(0) 推荐(0) 编辑
solr系统query检索词特殊字符的处理
摘要：solr是基于 lucence开发的应用，如果query中带有非法字符串，结果很可能是检索出所有内容或者直接报错，所以你对用户的输入必须要先做处理。输入星号，能够检索出所有内容；输入加号，则会报错。 官方的处理办法（java，因为solr是java开发的）： https://svn.apache.o 阅读全文
posted @ 2018-08-17 16:56 宏宇 阅读(652) 评论(0) 推荐(0) 编辑
C#winform抓取百度,Google搜索关键词结果
摘要：基于网站seo,做了一采集百度和Google搜索关键字结果的采集.在这里与大家分享一下 先看先效果图 代码附加: View Code 1 private void baidu_Click(object sender, EventArgs e) 2 { 3 int num = 100;//搜索条数 4 阅读全文
posted @ 2018-08-15 15:08 宏宇 阅读(700) 评论(2) 推荐(0) 编辑
理解Solr缓存及如何设置缓存大小
摘要：文献地址：http://wangdg.com/understanding-and-tuning-solr-cache/ 理解Solr缓存及如何设置缓存大小 为了得到最好的检索性能，Solr会在内存中缓存不同的数据： Result Set: 检索结果 Filter: filter query结果 Do 阅读全文
posted @ 2018-08-14 17:39 宏宇 阅读(828) 评论(0) 推荐(0) 编辑
SOLR缓存调优
摘要：缓存在 Solr 中充当了一个非常重要的角色，Solr 中主要有这三种缓存： Filter cache（过滤器缓存），用于保存过滤器（fq 参数）和层面搜索的结果 Document cache（文档缓存），用于保存 lucene 文档存储的字段 Query result（查询缓存），用于保存查询的结 阅读全文
posted @ 2018-08-14 17:38 宏宇 阅读(1354) 评论(0) 推荐(0) 编辑
Solr的Filed中indexed与stored属性
摘要：摘要： Solr的Filed中有很多参数，其中的index和store参数让人有点犯晕。 消失的Field 1 上面的这个Field的index和store属性都设置为false。如果你插入一片含有该field的doc到Solr，你会发现不能query这个field，就好像刚才插入的数据丢失了。 异 阅读全文
posted @ 2018-08-14 11:21 宏宇 阅读(554) 评论(0) 推荐(0) 编辑
solr 7+tomcat 8 + mysql实现solr 7基本使用(安装、集成中文分词器、定时同步数据库数据以及项目集成)
摘要：基本说明 Solr是一个开源项目，基于Lucene的搜索服务器，一般用于高级的搜索功能； solr还支持各种插件(如中文分词器等)，便于做多样化功能的集成； 提供页面操作，查看日志和配置信息，功能全面。 solr 7 + tomcat 8实现solr 7的安装 Solr自带集成jetty，但是一般都 阅读全文
posted @ 2018-08-14 11:19 宏宇 阅读(292) 评论(0) 推荐(0) 编辑
Solr优化案例分析
摘要：随着umc接入主机的数量越来越多，每天产生的syslog日志数量也在剧增， 之前一天产生的syslog数量才不 到1W，随着整个集团的网络设备不端接入，导致现在每天产生的syslog数量大概在180w左右，而这些syslog对 网络和PE同学排查线上网络设备问题又是十分重要的，他们的要求是可以提供查 阅读全文
posted @ 2018-08-14 11:18 宏宇 阅读(1017) 评论(0) 推荐(0) 编辑
solr亿万级索引优化实践（四）
摘要：本篇是这个系类的最后一篇，但优化方案不仅于此，需要后续的研究与学习，本篇主要从schema设计的角度来做一些实践。 schema.xml 这个文件的作用是定义索引数据中的域的，包括域名称，域类型，域是否索引，是否分词，是否存储，是否标准化，是否存储项向量等等。在solr6中这个文件是存放在zooke 阅读全文
posted @ 2018-08-14 11:13 宏宇 阅读(359) 评论(0) 推荐(0) 编辑
提高solr的搜索速度
摘要：之前是使用12台机分布式搜索，1台为主机做索引并分发给子机，8台做大索引搜索服务，3 台做小索引搜索服务，配置基本是内存在4-8G，cpu:2-8core的服务器，索引的大小为8G。搜索的响应时间 是150ms左右。（使用solr架构的搜索服务） 在一次技术群中，中听到一位sina的架构师，他们是采 阅读全文
posted @ 2018-08-14 11:12 宏宇 阅读(378) 评论(20) 推荐(0) 编辑
关于Solr的使用总结的心得体会
摘要：摘要：在项目中使用Solr作为搜索引擎对大数据量创建索引，提供服务，本文是作者对Solr的使用总结的一点心得体会， 具体包括使用DataImportHandler从数据库中近实时同步数据、测试Solr创建索引的性能、以及测试Solr的搜索效率总结等。 具体搜索引擎概念、Solr搭建方法、数据库mys 阅读全文
posted @ 2018-08-14 11:11 宏宇 阅读(632) 评论(0) 推荐(0) 编辑
Web of Science数据库中文献相关信息下载与保存
摘要：1. Web of Science 数据库（https://apps.webofknowledge.com/）： a. 所在网络必须由访问 该网站的权限。 b.建议使用web of Science的核心数据集，相应的引用等信息比较全面，一定要注意，如果想分析论文的Citation，必须选这个核心数据 阅读全文
posted @ 2018-08-13 18:47 宏宇 阅读(2007) 评论(0) 推荐(0) 编辑
Solr如何使用in语法查询
摘要：Solr可以用AND、|| 布尔操作符 表示查询的并且， 用OR、&& 布尔操作符 表示或者 用NOT、!、-（排除操作符不能单独与项使用构成查询）表示非 如果要用在查询的时候使用类似sql的in（1，2，3，4） 可以这样post_id:(1,2,3,4)或者post_id:1 OR post_i 阅读全文
posted @ 2018-08-13 18:41 宏宇 阅读(717) 评论(0) 推荐(0) 编辑
SQL中去掉字符串中最后一个字符(小技巧)
摘要：--长度减一就可以了 select left(字段名,len(字段名)-1) from 表名 阅读全文
posted @ 2018-08-13 10:43 宏宇 阅读(9656) 评论(0) 推荐(0) 编辑
sql isdate判断时间函数（小技巧）
摘要：isdate 是一个判断字符串是否为日期的函数，0代表所传入的字符串不是日期，1代表传入的参数是日期。 select isdate('30/12/2014') 0 第一个是 mdy --如果换成 select isdate('12/30/2014') 这样结果就是1了 select isdate(' 阅读全文
posted @ 2018-08-13 10:42 宏宇 阅读(4173) 评论(0) 推荐(0) 编辑
文档型数据库列一般都是弱项
摘要：文档型数据库一般都是以行为基础得，添加更新删除等操作，因为文档型数据的一般存储结构都是键值对。所以对列的概念很弱，比如有一些文档数据库，是无法对单列操作的，有时候想修改一列的值，只能所有数据全部重新添加一遍。不过其实这也是文档数据库的特色了。 阅读全文
posted @ 2018-08-10 16:11 宏宇 阅读(143) 评论(0) 推荐(0) 编辑
无法打开物理文件 XXX.mdf"。操作系统错误 5:"5(拒绝访问。)"的解决办法
摘要：附加数据库时报错： 无法打开物理文件 XXX.mdf"。操作系统错误 5:"5(拒绝访问。)" 原因是数据库权限无法读取路径下的文件。 解决方案 一： 数据库使用windows验证，将被附加的数据库移植到根目录下，即MSSQL的DATA目录下。 解决方案二：windows验证，然后将要附加的.mdf 阅读全文
posted @ 2018-08-10 16:08 宏宇 阅读(500) 评论(0) 推荐(0) 编辑
Solr学习总结（六）solr的函数查询Function Queries
摘要：摘要： 函数查询允许你使用一个或多个数字字段的真实值生成一个相关性分数，函数查询在standard，DisMax，eDisMax下都能使用。 查询函数可以是常量，字段或者其他函数的组合。使用函数可以影响结果的排序。本文整理自Solr官方文档：https://lucene.apache.org/sol 阅读全文
posted @ 2018-08-10 11:49 宏宇 阅读(4657) 评论(1) 推荐(0) 编辑
学习MongoDB 七： MongoDB索引（索引基本操作）（一）
摘要：一、简介 在MongoDB建立索引能提高查询效率，只需要扫描索引只存储的这个集合的一小部分，并只把这小部分加载到内存中，效率大大的提高，如果没有建立索引，在查询时，MongoDB必须执行全表扫描，在数据量大时，效率差别就很明显，对于包括一个没有索引的排序操作的查询，服务器必须在返回任何结果之前将所有 阅读全文
posted @ 2018-08-10 09:26 宏宇 阅读(317) 评论(0) 推荐(0) 编辑
学习MongoDB 八： MongoDB索引（索引限制条件）（二）
摘要：一、简介 我们上一篇介绍了索引基本操作，通过db.collection.createIndex(keys, options)语法创建索引，我们继续介绍地理空间索引、索引的限制，使我们在MongoDB时能提高查询效率。 索引的语法： db.collection.createIndex(keys,opt 阅读全文
posted @ 2018-08-10 09:26 宏宇 阅读(935) 评论(0) 推荐(0) 编辑
学习MongoDB 六： MongoDB查询（游标操作、游标信息）（三）
摘要：一、简介 db.collection.find()可以实现根据条件查询和指定使用投影运算符返回的字段省略此参数返回匹配文档中的所有字段。并返回到匹配文档的游标，可以随意修改查询限制、跳跃、和排序顺序的功能。 二、db.collection.findOne () db.collection. find 阅读全文
posted @ 2018-08-10 09:25 宏宇 阅读(460) 评论(0) 推荐(0) 编辑
学习MongoDB 四： MongoDB查询（一）
摘要：一、简介 MongoDB提供了db.collection.find() 方法可以实现根据条件查询和指定使用投影运算符返回的字段省略此参数返回匹配文档中的所有字段。 二．db.collection.find()查询数据 语法 参数 类型 描述 query document 可选. 使用查询操作符指定查 阅读全文
posted @ 2018-08-10 09:23 宏宇 阅读(411) 评论(0) 推荐(0) 编辑
学习MongoDB 五： MongoDB查询（数组、内嵌文档）（二）
摘要：一、简介 我们上一篇介绍了db.collection.find()可以实现根据条件查询和指定使用投影运算符返回的字段省略此参数返回匹配文档中的所有字段，我们今天介绍了对数组和内嵌文档的查询操作，尤其是对$elemMatch 同样可以用在find方法的第二个参数来限制返回数组内的元素，只返回我们需要的 阅读全文
posted @ 2018-08-10 09:23 宏宇 阅读(367) 评论(0) 推荐(0) 编辑
学习MongoDB 三： MongoDB无法启动的解决方法
摘要：一简介 我们之前介绍了MongoDB入门（安装与配置），我们今天在打开MongDB时，我们先运行cmd.exe进入dos命令界面,然后进入cd D:\mongodb\bin目录下，启动服务或者mongo命令都报了错误。 二．解决 1.net stop mongdb 启动服务报：系统发生错误5 解决： 阅读全文
posted @ 2018-08-10 09:22 宏宇 阅读(619) 评论(0) 推荐(0) 编辑
学习MongoDB 二：MongoDB添加、删除、修改
摘要：一、简介 MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSQL数据库产品中最热门的一种。数据被分组存储在数据集中，被称为一个集合（Collenction）和对于存储在MongoDB数据库中的文件，我们不需要知道它的任何结构定义的自由模式，在存储数据时是以键-值对的集合键是字符串, 阅读全文
posted @ 2018-08-10 09:21 宏宇 阅读(403) 评论(0) 推荐(0) 编辑
学习MongoDB 一：MongoDB 入门（安装与配置）
摘要：一.简介 MongoDB一种非关系型数据库(NoSql)，是一种强大、灵活、可扩展的数据存储方式，因为MongoDB是文档模型，自由灵活很高，可以让你在开发过程中畅顺无比，对于大数据量、高并发、弱事务的互联网应用，MongoDB可以应对自如，MongoDB内置的水平扩展机制提供了从百万到十亿级别的数 阅读全文
posted @ 2018-08-10 09:19 宏宇 阅读(240) 评论(0) 推荐(0) 编辑
solr4.x之原子更新
摘要：solr4.x发布以后，最值得人关注的一个功能，就是原子更新功能，传说的solr是否能真正的做到像数据库一样，支持单列更新呢？ 在solr官方的介绍中，原子更新是filed级别的更新，不会涉及整个Documnet级别的更新，但事实真是如此吗，经散仙验证，并非如此，原子更新这种功能，在Lucene层面 阅读全文
posted @ 2018-08-10 09:11 宏宇 阅读(233) 评论(0) 推荐(0) 编辑
Solr中的group与facet的区别
摘要：Solr中的group与facet的区别 如果是简单的使用的话，那么Facet与group都可以用来进行数据的聚合查询，但是他们还是有很大的区别的。 首先上facet跟group的操作： Facet的例子： public voidFacetFieldQuery() throws Exception 阅读全文
posted @ 2018-08-09 21:11 宏宇 阅读(281) 评论(0) 推荐(0) 编辑
solr查询空值、null、不存在的字段的方法
摘要：正常情况下我们都是按有值的方式去搜索，但是有时候有一些字段为null,solr中就没有存储进去，我们怎么获取这个字段不存在为条件的搜索结果了，我们只需要在搜索字段前加上负号，如下图 摘要： Solr的查询一般都是查找满足某个关键词的文档，偶然一个需求是查询Solr中某个字段不为空的数据。 查询空值数 阅读全文
posted @ 2018-08-09 20:05 宏宇 阅读(4556) 评论(1) 推荐(0) 编辑
lucene中TOKENIZED,UN_TOKENIZED 解釋
摘要：Field("content",curArt.getContent(),Field.Store.NO,Field.Index.TOKENIZED)); 這些地方與舊版本有很大的區別。Field有兩個屬性可選：存儲和索引。通過存儲屬性你可以控制是否對這個Field進行存儲；通過索引屬性你可以控制是否對 阅读全文
posted @ 2018-08-09 12:00 宏宇 阅读(302) 评论(0) 推荐(0) 编辑
Solr字段类型field type的定义
摘要：摘要： Solr的字段类型定义了Solr如何解析字段数据并将数据检索出来，了解Solr的字段类型定义有助于更好的配置与使用Solr。 字段类型的定义 字段类型的定义主要包含如下四个方面的信息： 名称 实现的类名 如果field type 是TextField，则可以指定字段解析器 字段类型属性 在s 阅读全文
posted @ 2018-08-09 12:00 宏宇 阅读(779) 评论(0) 推荐(0) 编辑
solr 通过【配置、多值字段、动态字段】来解决文本表达式查询精确到句子的问题
摘要：一、Solr Multivalue field属性positionIncrementGap理解 分类：Lucene 2014-01-22 10:39阅读(3596)评论(0) 参考：http://rockiee281.blog.163.com/blog/static/1938522292012722 阅读全文
posted @ 2018-08-09 11:59 宏宇 阅读(925) 评论(0) 推荐(0) 编辑
Solr SchemaXml 一些解读
摘要：The schema.xml file contains all of the details about which fields your documents can contain, and how those fields should be dealt with when adding d 阅读全文
posted @ 2018-08-09 11:58 宏宇 阅读(490) 评论(0) 推荐(0) 编辑
solr5.3的spellcheck功能
摘要：1.增加schema.xml中的检查字段。 2.修改solrconfig.xml内容： 3.重新创建索引使其生效. PS:参考了另一位博主的文章http://blog.csdn.net/kevinxxw/article/details/49708311 用的分词器不一样，另外增加了针对拼音的智能纠错 阅读全文
posted @ 2018-08-09 10:07 宏宇 阅读(303) 评论(0) 推荐(0) 编辑
solr6.3根据搜索关键词词频（关键词出现次数、关键词highlight）进行排序
摘要：使用q进行分别进行两个字段查询，得出的结果有很多，包括很其他品牌的商品：博世、喜利得、林君等各类品牌的“电钻”。如果需要进行精准的品牌查询，那就需要建立一个品牌词词库，也是通过slor进行code添加一套，然后在solrj进行编写逻辑，把拆词的内容到品牌词库再搜索一次，如果包含则说明用户输入了指定的 阅读全文
posted @ 2018-08-08 18:15 宏宇 阅读(846) 评论(0) 推荐(0) 编辑
Solr---Group分组查询
摘要：场景描述： 普通查询时，查询的结果中，个人信息有很多重复的，按照业务需求需要将重复的个人信息隐藏，所以使用分组查询，如果想查看隐藏的部分，则在具体分组中继续使用分页的查询。 分组查询： JAVA部分代码： ... ... // 创建solrQuery对象 // 创建solrQuery对象 SolrQ 阅读全文
posted @ 2018-08-08 18:14 宏宇 阅读(8079) 评论(1) 推荐(0) 编辑
Solr查询参数sort（排序）
摘要：摘要： Solr查询每一次返回的数据都有一定的顺序，特定顺序的结果对于业务来说可能非常重要。 不指定排序 一般我们不指定排序规则，这样的结果能满足大部分需求，默认是用文档的得分作为排序标准。相当于加上了参数sort=score desc，这里的score是solr的一个隐藏字段，衡量这个文档对于该查 阅读全文
posted @ 2018-08-08 18:13 宏宇 阅读(283) 评论(0) 推荐(0) 编辑
使用SolrNet访问Solr-5.5.0
摘要：由于今年年初刚发布的Solr-5.5.0,网上所能找到的资料少之又少，所以只能靠自己一点点摸索。 从某Hub上下载了SolrNet源码，按照教程提交文档或者查询均失败，无奈只得跟断点一点点差怎么回事。 网址奉上:https://github.com/mausch/SolrNet 由于5.X以后支持多 阅读全文
posted @ 2018-08-08 13:40 宏宇 阅读(253) 评论(0) 推荐(0) 编辑
java impl
摘要：java impl 是一个资源包，用来存放java文件的。在Java开发中，通常将后台分成几层，常见的是三层mvc：model、view、controller，模型视图控制层三层，而impl通常处于controller层的service下，用来存放接口的实现类，impl的全称为implement，表 阅读全文
posted @ 2018-08-08 12:15 宏宇 阅读(254) 评论(0) 推荐(0) 编辑
Solr Facet 搜索时，facet.missing = true 的真正含义
摘要：Solr的WiKI原文是如下解释： facet.missing Set to "true" this param indicates that in addition to the Term based constraints of a facet field, a count of all mat 阅读全文
posted @ 2018-08-08 11:05 宏宇 阅读(170) 评论(0) 推荐(0) 编辑
为solr增加用户验证
摘要：添加此功能主要是为了增加solr服务器的安全性，不能随便让人访问。 1. 在tomcat的F:\Tomcat 6.0.26_solr\conf\tomcat-users.xml添加用户角色并指定访问的用户名密码 <role rolename="solr"/> <role rolename="solr 阅读全文
posted @ 2018-08-07 15:29 宏宇 阅读(327) 评论(0) 推荐(0) 编辑
java环境变量的配置
摘要：*************************************** 为什么要配置环境变量： 1. PATH环境变量（Window不区分大小写，Linux系统下必须大写）。 作用是指定命令搜索路径 在CMD中执行命令时，它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需 阅读全文
posted @ 2018-08-06 18:03 宏宇 阅读(204) 评论(0) 推荐(0) 编辑
solr的multivalued使用说明
摘要：solr的schema.xml配置文件在配置Filed的时候，有个属性： MutiValued：true if this field may containmutiple values per documents，这个说明有点模糊，下面结合实际应用，列举两个不同的例子。 例子一：一个field有多个 阅读全文
posted @ 2018-08-02 15:49 宏宇 阅读(3855) 评论(1) 推荐(0) 编辑
solr联合多个字段进行检索(multivalued和copyfield的使用)
摘要：在实际工作中不仅仅对索引中的单个字段进行搜索。需要进行综合查询。 比如book表中有id,name(标题)，price,summary(摘要)，content(内容)，我们要找一本书的时候，查询关键字“平凡的世界”，需要从标题或者摘要或者内容里包含这个关键字时就算找到了。这就需要使用copyFiel 阅读全文
posted @ 2018-08-02 15:48 宏宇 阅读(532) 评论(0) 推荐(0) 编辑
solr的基本概念
摘要：一、solr的基本概念 大家可以把solr搜索引擎看成一个数据库，不过是基于内存的。它可以存储信息，并且根据你的查询条件返回你想要的信息。 1、collection和core的概念 collection和core其实可以看成功一个概念，都是同一种数据格式的集合，可以对照数据库中的一张表。 在solr 阅读全文
posted @ 2018-08-02 11:22 宏宇 阅读(282) 评论(0) 推荐(0) 编辑
Solr学习之二-Solr基础知识
摘要：一 基本说明 简单来说Solr是基于Lucene的高性能的，开源的Java企业搜索服务器。Solr可以看作一个Web app，运行在tomcat或Jetty这类HTTP服务器上， 底层是一个基于Lucene的搜索引擎，还附加一个Solr的基本管理界面。Solr提供HTTP服务，通过Get方法进行查询 阅读全文
posted @ 2018-08-02 11:16 宏宇 阅读(233) 评论(0) 推荐(0) 编辑
电商总结（八）如何打造一个小而精的电商网站架构
摘要：前面写过一些电商网站相关的文章，这几天有时间，就把之前写得网站架构相关的文章，总结整理一下。把以前的一些内容就连贯起来，这样也能系统的知道，一个最小的电商平台是怎么一步步搭建起来的。对以前的文章感兴趣的朋友可以看这个，http://www.cnblogs.com/zhangweizhong/cate 阅读全文
posted @ 2018-08-02 09:52 宏宇 阅读(456) 评论(0) 推荐(0) 编辑
RabbitMQ原理与相关操作(一)
摘要：小编是菜鸟一枚，最近想试试MQ相关的技术，所以自己看了下RabbitMQ官网，试着写下自己的理解与操作的过程。 刚开始的第一篇，原理只介绍 生产者、消费者、队列，至于其他的内容，会在后续中陆续补齐。 引入MQ话题 什么时候会用到MQ 可能很多人有疑惑：MQ到底是什么？哪些场景下要使用MQ？ 前段时间 阅读全文
posted @ 2018-08-02 09:42 宏宇 阅读(232) 评论(0) 推荐(0) 编辑
数据库插入大量数据时不要忘记先删除索引(小技巧)
摘要：数据库插入大量数据时不要忘记先删除索引，插入完成后再重新建立索引，索引会非常影响插入数据的速度。 阅读全文
posted @ 2018-08-01 16:04 宏宇 阅读(969) 评论(0) 推荐(0) 编辑
solr入门之权重排序方法初探之使用edismax改变权重
摘要：做搜索引擎避免不了排序问题,当排序没有要求时,solr有自己的排序打分机制及sorce字段 1.无特殊排序要求时,根据查询相关度来进行排序(solr自身规则) 2.当涉及到一个字段来进行相关度排序时,可以直接使用solr的sort功能来实现 3.对多个字段进行维度的综合打分排序(这个应该才是重点,内 阅读全文
posted @ 2018-08-01 16:02 宏宇 阅读(1952) 评论(0) 推荐(0) 编辑

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Copyright © 2025 宏宇
Powered by .NET 9.0 on Kubernetes Powered By博客园
点击右上角即可分享
微信分享提示