Tokyo Dystopia 1000w数据测试

Tokyo Dystopia是一个全文搜索引擎,究竟它的性能如何呢?能否用于海量数据搜索呢?我使用了1000w(实际10170524条记录)网站标题来分词,并用于Tokyo Dystopia做本文相关的测试数据。

本文所有的测试都直接使用Tokyo Dystopia的dystmgr命令行工具完成。

导入1000w数据测试

$time dystmgr importtsv urls1000w urls1000w.data

 

默认搜索测试: 100ms

$ time dystmgr search -pv -ph -max 10 url1000w "qq"
hits: 337978
time: 0.116780

4    81715239.qzone.qq.com http 幻觉 一场 命是 生命
3313    签名 个性 代码 QQ 空间 QQ 美女 非主流 图片 动态 图片 手机 闪图 QQ 闪图 暴闪 流网 非主 陛下
5581    骑士 QQ 下载 表情 QQ
6120    laodIng by 50071705 QQ
6217    空间 QQ 心秀 头像 QQ 非主流
7990    代码 皮肤 空间 QQ 个性 _ 动画图片 装饰 空间 QQ 黑色 另类
8683    下载 BT 索引 种子 其他 索引 种子 软件 索引 种子 游戏 索引 种子 音乐 索引 种子 动漫 索引 种子 综艺 索引 种子 影视 下载 首页 高速下载 种子 BT 最新 首页 下载 游戏 QQ 腾讯 下载 免费软件 下载 影视
9691    laodIng by 50071705 QQ
10574    85090246 QQ 网马 完美
12158    966223 QQ 客服 销售 www.cotei.cn 铂金 我爱 系统 管理 网站 CMS 企业 酷维

real    0m0.121s
user    0m0.100s
sys    0m0.020s

 

time dystmgr search -pv -ph -max 10 url1000w "中国"
hits: 441996
time: 0.134483

45    搜索 视频 发布 视频 播放 视频 提供 网站 视频 第一 中国 酷网
570    采棉 之五 图之 棉花 御题 乾隆 历史 棉花 中国
658    空间站 免费 动态 最好的 中国 5944.net 空间 免费
1196    外科 手足 山东 中国 __ 留言本
1205    招商引资 中国国际
1579    分公司 深圳市 股份有限公司 中国人寿保险
1746    门户 资讯 化妆品 美发 美容 咨询 化妆品 美容美发 中国
2351    phpwind.net by powered 富者 成为 站长 富者 有待 中国 下载 站长 交易 站长 交流 站长 工具 站长 站长 富者 待富 源码 站长 之家 站长 富者 待富 都是 站长 论坛 站长 富者 待富
3202    平台 销售 珠宝 珍珠 最好的 中国 直销 精品
3265    分院 深圳 研究院 建筑设计 中国航天

real    0m0.138s
user    0m0.120s
sys    0m0.020s

 

token match(-st参数)搜索测试: 500ms

$ time dystmgr search -pv -ph -max 10 -st url1000w "qq"

hits: 253029
time: 0.509108

3313    签名 个性 代码 QQ 空间 QQ 美女 非主流 图片 动态 图片 手机 闪图 QQ 闪图 暴闪 流网 非主 陛下
5581    骑士 QQ 下载 表情 QQ
6120    laodIng by 50071705 QQ
6217    空间 QQ 心秀 头像 QQ 非主流
7990    代码 皮肤 空间 QQ 个性 _ 动画图片 装饰 空间 QQ 黑色 另类
8683    下载 BT 索引 种子 其他 索引 种子 软件 索引 种子 游戏 索引 种子 音乐 索引 种子 动漫 索引 种子 综艺 索引 种子 影视 下载 首页 高速下载 种子 BT 最新 首页 下载 游戏 QQ 腾讯 下载 免费软件 下载 影视
9691    laodIng by 50071705 QQ
10574    85090246 QQ 网马 完美
12158    966223 QQ 客服 销售 www.cotei.cn 铂金 我爱 系统 管理 网站 CMS 企业 酷维
12845    华夏 私服 QQ 私服 最新 华夏 qq

real    0m0.515s
user    0m0.450s
sys    0m0.070s

 

$ time dystmgr search -pv -ph -max 10 -st url1000w "中国"
hits: 362560
time: 0.562469

45    搜索 视频 发布 视频 播放 视频 提供 网站 视频 第一 中国 酷网
570    采棉 之五 图之 棉花 御题 乾隆 历史 棉花 中国
658    空间站 免费 动态 最好的 中国 5944.net 空间 免费
1196    外科 手足 山东 中国 __ 留言本
1746    门户 资讯 化妆品 美发 美容 咨询 化妆品 美容美发 中国
2351    phpwind.net by powered 富者 成为 站长 富者 有待 中国 下载 站长 交易 站长 交流 站长 工具 站长 站长 富者 待富 源码 站长 之家 站长 富者 待富 都是 站长 论坛 站长 富者 待富
3202    平台 销售 珠宝 珍珠 最好的 中国 直销 精品
3978    糖尿病 中国
4224    门户网 休闲 户外 中国 每一天 户外 中国 见证 -- 时代 户外
4251    中心 销售 中国 思科 无线 CISCO 网管软件 CISCO 模块 CISCO 路由器 CISCO 交换机 CISCO 防火墙 CISCO

real    0m0.568s
user    0m0.490s
sys    0m0.080s

 

耗时长,看来还是无法满足目前的需求。而且暂时还没找到那里可以设置搜索结果的权值。

posted @ 2009-10-22 15:33  MK2  阅读(804)  评论(0编辑  收藏  举报