摘要:
社工库的规模越来越大,MSSQL的查询速度已经不够用了,改用全文检索,目前效果不错,全库在650G左右,索引160G,全文检索响应时间在5秒以内。 主要参考了The Web Of Answers的一个搭建帖子,具体链接找不到了,做了很多修改和改进,便于添加新库。 给出一些配置信息,有兴趣的同学可以留 阅读全文
摘要:
## 数据源src1 source src1 { ## 说明数据源的类型。数据源的类型可以是:mysql,pgsql,mssql,xmlpipe,odbc,python ## 有人会奇怪,python是一种语言怎么可以成为数据源呢? ## python作为一种语言,可以操作任意其他的数据来源来获取数 阅读全文
摘要:
分布式配置很简单,只需要将局域网内的机器连接即可。 vi /usr/local/coreseek/etc/csft.conf 共6台机器的索引及增量,共12项。 然后启动进程 /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csf 阅读全文
摘要:
(1)高速建立索引:建索引速度达到单核10-15mb/s; (2)高速查询:100万记录(约1.2GB数据)下,单核每秒支持约200次搜索; (3)高扩展性:已知最大索引簇支持对30亿条记录建立索引,每天单个连接5千万次搜索; (4)强大附属功能:支持分布式搜索,中文分词引擎,c/java/pyth 阅读全文
摘要:
不管是网站还是app很多产品的设计思路和产品功能多多少少都有相似之处,那么这边主要讲以下几个场景 描述、话题的搜索 主要的实现思路是全量索引+增量索引方式,可设定时任务定点跑索引 用户昵称的搜索 主要是实现思路是实时索引+分布式索引的方式,用户由于过多,故使用实时索引的方法进行增加,旧数据通过跑脚本 阅读全文