宏宇 - 博客园

2018年8月31日

摘要：转：https://www.g-cores.com/articles/95065 这一趟旅途从日漫开始，旅经了柏拉图的坟墓，终于犹太先民的光辉之书导语：在严重影响睡眠，生活，工作的情况下，历时120小时不紧不慢的乐园之旅终于告一段落，我从乐园回来了。这一趟旅途从一场日漫开始，旅经了柏拉图的坟墓，终阅读全文

posted @ 2018-08-31 16:31 宏宇阅读(920) 评论(0) 推荐(0) 编辑

SQL Server 查询性能优化——创建索引原则（一）

摘要：索引是什么？索引是提高查询性能的一个重要工具，索引就是把查询语句所需要的少量数据添加到索引分页中，这样访问数据时只要访问少数索引的分页就可以。但是索引对于提高查询性能也不是万能的，也不是建立越多的索引就越好。索引建少了，用WHERE子句找数据效率低，不利于查找数据。索引建多了，不利于新增、修改和删除阅读全文

posted @ 2018-08-31 15:49 宏宇阅读(247) 评论(0) 推荐(0) 编辑

2018年8月30日

SqlServer性能优化查询和索引优化（十二）

摘要：查询优化的过程：查询优化：功能：分析语句后最终生成执行计划分析：获取操作语句参数索引选择 Join算法选择创建测试的表： 1 select * into EmployeeOp from AdventureWorks2014.HumanResources.Employee 建立非聚集索引：阅读全文

posted @ 2018-08-30 09:22 宏宇阅读(418) 评论(0) 推荐(0) 编辑

SqlServer性能优化通过压缩与计算列提高性能（十一）

摘要：压缩: 1.压缩的对象 1.表 2.索引（非聚集索引手工做） 3.备份（手工做） 2.对性能影响 1.提高IO性能 2.降低CPU性能行压缩： 1.对null值不占用空间 2.对Numeric值不占用空间页压缩： 1.行压缩 2.前缀压缩 3.字典压缩实例：准备表数据： 1 2 3 4 5 阅读全文

posted @ 2018-08-30 09:21 宏宇阅读(513) 评论(0) 推荐(0) 编辑

2018年8月24日

json与bson的区别

摘要： bson是由10gen开发的一个数据格式，目前主要用于mongoDB中，是mongoDB的数据存储格式。bson基于json格式，选择json进行改造的原因主要是json的通用性及json的schemaless的特性。 bson主要会实现以下三点目标： 1.更快的遍历速度对json格式来说，太大的阅读全文

posted @ 2018-08-24 16:42 宏宇阅读(426) 评论(0) 推荐(0) 编辑

浅析Redis 和MongoDB

摘要：今天来聊聊什么事nosql，一听nosql也许很多人会觉得很高大上的感觉，但其实接触过了也还觉得还行,随着当今数据的疯狂爆炸性的增长，传统的RDBMS也越来越暴露出他的不足之处，所以，作为一名合格的程序员，有必要了解一下，近几年新出现的nosql的概念，nosql可以理解为"not only sql 阅读全文

posted @ 2018-08-24 15:29 宏宇阅读(172) 评论(0) 推荐(0) 编辑

2018年8月23日

Solr DocValues详解

摘要：前言：在Lucene4.x之后，出现一个重大的特性，就是索引支持DocValues，这对于广大的solr和elasticsearch用户，无疑来说是一个福音，这玩意的出现通过牺牲一定的磁盘空间带来的好处主要有两个：（1）节省内存（2）对排序，分组和一些聚合操作时能够大大提升性能下面来详细介绍阅读全文

posted @ 2018-08-23 11:42 宏宇阅读(2472) 评论(0) 推荐(0) 编辑

字符串中判断存在的几种模式和效率(string.contains、string.IndexOf、Regex.Match)

摘要：通常情况下，我们判断一个字符串中是否存在某值常常会用string.contains，其实判断一个字符串中存在某值的方法有很多种，最常用的就是前述所说的string.contains，相对来说比较常用的还有string.IndexOf和Regex.Match。直接上代码，后面在说些什么吧，通常情况下功阅读全文

posted @ 2018-08-23 11:24 宏宇阅读(517) 评论(0) 推荐(0) 编辑

正则表达式和字符串处理

摘要：第一章正则表达式概述正则表达式(Regular Expression)起源于人类神经系统的研究。正则表达式的定义有以下几种： l 用某种模式去匹配一类字符串的公式，它主要是用来描述字符串匹配的工具。 l 描述了一种字符串匹配的模式。可以用来检查字符串是否含有某种子串、将匹配的子串做替换或者从中取阅读全文

posted @ 2018-08-23 11:23 宏宇阅读(2688) 评论(0) 推荐(0) 编辑

Solr查询参数sort（排序）

摘要：摘要： Solr查询每一次返回的数据都有一定的顺序，特定顺序的结果对于业务来说可能非常重要。不指定排序一般我们不指定排序规则，这样的结果能满足大部分需求，默认是用文档的得分作为排序标准。相当于加上了参数sort=score desc，这里的score是solr的一个隐藏字段，衡量这个文档对于该查阅读全文

posted @ 2018-08-23 09:53 宏宇阅读(5985) 评论(0) 推荐(0) 编辑

2018年8月21日

Solr合并索引方式

摘要：索引合并并不会判断uniqueKey，所以主键有重复不会判断主键会重复。官方的解释是不要有重复。要合并索引，它们必须满足以下要求：这两个索引必须兼容：它们的架构应该包含相同的字段，并且它们应该以相同的方式分析字段。索引不得包含重复的数据。 1, Solr 合并索引数据有两种方法，第一种是 1 阅读全文

posted @ 2018-08-21 17:01 宏宇阅读(468) 评论(0) 推荐(0) 编辑

solr研磨之游标分页

摘要：作者：战斗民族就是干转载请注明地址：http://www.cnblogs.com/prayers/p/8986498.html 普通分页当需要深度分页的时候，比如查询第10000页数据，每页显示10条，意味着需要提取前10000 x 10 页的数据，并将这100000条数据缓存在内存中，然后在内阅读全文

posted @ 2018-08-21 13:51 宏宇阅读(314) 评论(0) 推荐(0) 编辑

solr研磨之性能调优

摘要：作者：战斗民族就是干转载请注明地址：http://www.cnblogs.com/prayers/p/8982141.html 本篇文章我们来了解一下solr的性能方面的调优，分为Schema优化、索引更新与提交调优、索引合并性能调优、Solr缓存、Solr查询性能优化 Schema优化 1、in 阅读全文

posted @ 2018-08-21 13:50 宏宇阅读(825) 评论(0) 推荐(0) 编辑

solr研磨之facet

摘要：作者：战斗民族就是干转载请注明地址：http://www.cnblogs.com/prayers/p/8822417.html Facet 开门见山，facet解决的就是筛选，我是把它理解为一种聚合。例如，商品属性中的品牌名称。例如：搜索召回了100个sku，这100个sku里面包含在20个品牌阅读全文

posted @ 2018-08-21 13:50 宏宇阅读(185) 评论(0) 推荐(0) 编辑

Solr游标查询提高翻页效率

摘要：长期以来，我们一直有一个深分页问题。如果直接跳到很靠后的页数，查询速度会比较慢。这是因为Solr的需要为查询从开始遍历所有数据。直到Solr的4.7这个问题一直没有一个很好的解决方案。与最近发布的Solr的版本中，Solr使用了所谓的游标大幅度提高深翻页的性能。问题深分页的问题是很清楚。Solr 阅读全文

posted @ 2018-08-21 13:29 宏宇阅读(499) 评论(0) 推荐(0) 编辑

solr使用cursorMark做深度分页

摘要：深度分页深度分页是指给搜索结果指定一个很大的起始位移。普通分页在给定一个大的起始位移时效率十分低下，例如start=1000000,rows=10的查询，搜索引擎需要找到前1000010条记录然后再返回最后10条。Solr为了最后10条记录只会检索排序字段，但是前1000010条记录的内部排序开阅读全文

posted @ 2018-08-21 13:26 宏宇阅读(479) 评论(0) 推荐(0) 编辑

Solr中使用游标进行深度分页查询以提高效率（适用的场景下）

摘要：通常，我们的应用系统，如果要做一次全量数据的读取，大多数时候，采用的方式会是使用分页读取的方式，然而分页读取的方式，在大数据量的情况下，在solr里面表现并不是特别好，因为它随时可能会发生OOM的异常，在solr里面通过rows和start参数，非常方便分页读取，但是如果你的start=1000 阅读全文

posted @ 2018-08-21 13:25 宏宇阅读(584) 评论(0) 推荐(0) 编辑

内存大小设置 Java heap space错误

摘要： 1. 问题描述当从数据库中查询大量的数据，每个模板取出来几百万条数据，或者是频繁的刷新项目、模板时就会占用Java虚拟机JVM的大量内存，超过内存就会出现报java.lang.OutOfMemoryError:Java heap space内存一处的错误，具体报错如下： 2. 原因由于服务器的J 阅读全文

posted @ 2018-08-21 11:16 宏宇阅读(334) 评论(0) 推荐(0) 编辑

solr defType查询权重排序

摘要： Solr的defType有dismax/edismax两种，这两种的区别，可参见：http://blog.csdn.net/duck_genuine/article/details/8060026 下面示例用于演示如下场景：有一网站，在用户查询的结果中，需要按这样排序：这样的查询排序使用普通的查阅读全文

posted @ 2018-08-21 11:12 宏宇阅读(464) 评论(0) 推荐(0) 编辑

Solr：Schema设计

摘要： Solr将数据以结构化的方式存入系统中，存储的过程中可以对数据建立索引，这个结构的定义就是通过schema.xml来配置的。 <?xml version="1.0" encoding="UTF-8" ?> <!-- Licensed to the Apache Software Foundation 阅读全文

posted @ 2018-08-21 11:11 宏宇阅读(320) 评论(0) 推荐(1) 编辑