ElasticSearch第4篇（亿级中文数据量 ElasticSearch与Sphinx建索引速度、查询速度、并发性能、实测对比）

经过实测：1.09亿的数据量进行中文检索。ElasticSearch单机的检索性能在0.005~5.6秒之间，此检索速度可满足95%的业务场景（注意：每条ES文档平均65个汉字，数据源取自几千本小说，大部分文档在15~300个汉字之间，不然字数太多索引太大电脑存不下）。

前置文章

由于本文章的前置操作强依赖于另一篇文章，推荐阅读：
万字详解PHP+Sphinx中文亿级数据全文检索实战（实测亿级数据0.1秒搜索耗时）

运行配置

和Sphinx环境保持一致。
服务器配置：CentOS7.6 16核4G内存。固态硬盘。
ES配置：ElasticSearch 8.14.1单机，默认配置，使用IK分词器的ik_max_word配置。不设置分片和副本数量。

数据准备

和Sphinx用的数据源保持一致。
依旧是上次用的几千本小说，整合后的单个txt文件9.57个G，用\n间隔，作为一个ES文档。
数据量为109 450 000条数据。

数据插入

• 创建索引与映射，并修改max_result_window参数

$params = [
    'index' => 'performance_test',
    'body'  => [
        'settings' => [
            'analysis' => [
                'analyzer' => [
                    'ik_analyzer' => [
                        'type'      => 'ik_max_word',
                    ],
                ],
            ],
        ],
        'mappings' => [
            'properties' => [
                'id' => [
                    'type'     => 'integer',
                ],
                'content' => [
                    'type'     => 'text',
                    'analyzer' => 'ik_analyzer',
                ],
            ],
        ],
    ],
];

$response = $client->indices()->create($params);
dd($response->asBool());


$params = [
    'index' => 'performance_test',
    'body'  => [
        'index' => [
            'max_result_window' => 2147483647 //用于控制在搜索查询中可以检索到的最大文档数，有符号int类型,最大可设置2^31 - 1，大了会有性能问题
        ]
    ]
];

$response = $client->indices()->putSettings($params);
dd($response->asBool());

• 插入数据

//这段代码只确保可批量插入，忽略精准的数据处理高可用问题。
$start = microtime(true);
ini_set('memory_limit', '4096M');
set_time_limit(0);

include __DIR__ . './vendor/autoload.php';

$client = \Elasticsearch\ClientBuilder::create()->setHosts(['192.168.0.183:9200'])
    ->setBasicAuthentication('elastic', '123456')->build();


/**
 * @function 逐行读取大文件
 * @param    $file_name string 文件名
 * @return   Generator|object
 */
function readLargeFile($file_name) {
    $file = fopen($file_name, 'rb');
    if (! $file) {
        return false;
    }

    while (! feof($file)) {
        $line = fgets($file);
        if ($line !== false) {
            yield $line;
        }
    }

    fclose($file);
}


// 使用生成器逐行读取大文件
$file_resource = readLargeFile('E:/其它/一亿行汉字文本.txt');
foreach ($file_resource as $loop => $line) {
    $loop ++;
    $from_charset = mb_detect_encoding($line, 'UTF-8, GBK, GB2312, BIG5, CP936, ASCII');
    $utf8_str     = @iconv($from_charset, 'UTF-8', $line);
    if(in_array($utf8_str, ["\n", "\r", "\n\r", "\r\n"])) {
        continue;
    }


    $params['body'][] = ['index' => ['_index' => 'performance_test', '_id' => $loop]];
    $params['body'][] = ['id' => $loop, 'content' => $utf8_str];


    if(count($params['body']) >= 100000) {
        $client->bulk($params); //忽略批量插入的错误
        $params = [];
    }
}

echo '插入耗时：' . bcsub(microtime(true), $start, 3) . '秒';

实测ES与Sphinx新增数据建索引速度对比

应用	耗时	新增数据量	补充
Sphinx	50.5分钟	109 450 000	/
ElasticSearch	119分钟	109 450 000	（总时间 - PHP代码执行时间，总耗时190分钟）

实测ES与Sphinx查询性能对比

某些项，ElasticSearch搜索出来的结果远超MySQL和Sphinx查询的结果，这是分词汇总的缘故。
而Sphinx使用的是SPH_MATCH_PHRASE格式，所以数量不会有ES那么多，若用SPH_MATCH_ANY，可能有更多的检索结果。

类型	搜索关键字	Sphinx搜索耗时（秒）	ES搜索耗时（秒）	MySQL搜索耗时（秒）	Sphinx搜索数量	ES搜索数量	MySQL搜索数量
数字	123	0.005	0.005	305.142	3121	3877	8143
中文单字	虹	0.013	0.115	223.184	67802	60016	103272
英文单字母	A	0.031	0.009	339.576	136428	0	1017983
单中文标点	。	4.471	0.003	125.106	67088012	0	67096182
单英文标点	.	0	0.003	251.171	0	0	6697242
可打印特殊字符	☺	0	0.002	355.469	0	0	0
中文词语（易分词）	黑色衣服	0.066	0.283	346.442	1039	722402	1062
中文词语（不易分词）	夏威夷	0.011	0.114	127.054	3636	3664	3664
中文词语（热门）	你好	0.022	0.091	126.979	102826	136996	137717
中文词语（冷门）	旖旎	0.010	0.077	345.493	4452	4496	4528
英文单词	good	0.010	0.074	137.562	553	588	1036
中文短语	他不禁一脸茫然	1.742	0.973	218.272	0	49698660	0
英文短语	I am very happy	0.015	0.121	355.235	1	48375	0
长文本	陈大人不急着回答，他先从柜台下面又抽出了一份文案，翻了好一阵之后才回答道：“瞧，果然如此，如今广州这边官职该放得都放出去了，只剩下消防营山字营的一个哨官之职。不出所料的话，督抚大人准会委你这个职务。	0.131	5.638	129.204	1	80498922	1

实测ES与Sphinx并发性能对比

• 压测方式 ：ab -c 1 -n 10~1000 127.0.0.1/temp/es/test.php
• 中文定值关键字为华盛顿，英文定值关键字为XYZ，30位随机中文或英文字符，由代码生成（用代码生成数据源，是避免引入更好的数据源带来了性能误差）。
• 由于ES IK分词器比Sphinx中文分词器分词粒度更细，所以并发下30位随机中文字符检索性能极具下降。

生成任意正整数个中文字符
function generateRandomChinese($length) {
    $result = '';
    for ($i = 0; $i < $length; $i++) {
        $result .= mb_convert_encoding('&#' . mt_rand(0x3e00, 0x9fa5) . ';', 'UTF-8', 'HTML-ENTITIES');
    }
    return $result;
}

生成任意正整数个英文字符
function generateRandomEnglish($length) {
    $result = '';
    for ($i = 0; $i < $length; $i++) {
        $result .= chr(mt_rand(97, 122)); // 小写字母ASCII码范围: 97~122；大写字母：65~90
    }
    return $result;
}

类型	搜索次数（ab -n 参数值）	Sphinx耗时（秒）	ES耗时（秒）
固定中文多次搜索	10	0.256	0.623
固定中文多次搜索	100	1.435	1.915
固定中文多次搜索	1000	11.604	18.821
随机30位中文字符多次搜索	10	0.517	4.257
随机30位中文字符多次搜索	100	2.305	52.505
随机30位中文字符多次搜索	1000	17.197	超时
固定英文多次搜索	10	0.327	0.584
固定英文多次搜索	100	0.747	5.085
固定英文多次搜索	1000	8.510	50.423
随机30位英文字符多次搜索	10	0.077	0.0623
随机30位英文字符多次搜索	100	0.766	4.810
随机30位英文字符多次搜索	1000	9.428	50.698

ES与Sphinx各项优缺点直观对比

项目	ElasticSearch（相比于Sphinx）	Sphinx（相比于ElasticSearch）
创建索引性能	慢	快
查询性能	相差无几	相差无几
并发性能	慢	快
中文分词支持	需安装IK分词器	需安装Mmseg分词工具和Coreseek中文搜索引擎框架
实时搜索	友好	不友好
对增量数据（Insert）	通过代码层可直接同步ES	需要运维层面的触发而生成增量索引
与数据库一致性同步问题（Update、Delete）	ES支持直接更新	Sphinx不支持对索引更新，需重建索引
客户端语言支持	Java、PHP、JavaScript、Perl、Ruby、Python、Golang、Eland、.NET、Rust	Java、PHP、Python、Perl、C
开发语言	Java	C++
支持跨平台	是	是
架构	C/S	C/S
合作流程	内置数据库，支持对自身数据进行复杂的增删改查，但需要MySQL兜底	内置索引库、帮MySQL找ID
事务支持	不支持	不支持
系统内存占用	大	小
集群部署	支持	支持
集群协调模式	自动负载均衡	节点间协调 需要手动设置负载均衡和协调
数据分析	内建强大的聚合和分析功能	不支持复杂的数据分析
GUI	需额外安装组件，例如Kibana	无官方可视化工具
生态	繁荣	一般
上手难度	难	易
安全性	支持基于用户的访问控制，集成X-Pack进行高级安全配置。但内部的Log4j2组件存在高危漏洞	基本的权限管理，需依赖外部工具