大量删除Es数据的时候，出现部分删除部分遗留的情况
“前两天在大批量删除ES数据的时候，出现部分数据删除，部分遗留的问题，原因在于偏移量”
思路
在删除之前考虑是应用Es的“_bulk”，但也不是一股脑把几万条，或者几十万条的数据全部堆进去, 而且符合条件的才能进行删除, 所以需要根据条件对数据进行一个查询，然后删除。
出现问题的处理方式
TestController.php (文件名称)
public $page = 0;
... 以上都是类信息
public function actionDelEsData($limit = 1000, $chunkLimit = 100) {
$esModel = $this->container->get('EsModel');
$index = $esModel->index; #这里可以多个index
$type = $esModel->type; #相对应index,可以多个type
$query = [ // Yii2.0 框架中Es Query的写法
'bool' => [
'must' => [
'term' => []
],
'must_not' => [
'range' => []
]
]
];
$sort = ['_id' => SORT_ASC];
while($list = $esModel->getList($index, $type, $query, $sort, $limit, $this->page)) {
$idList = array_column($list, '_id');
// 通过array_chunk进行分割，批次进行删除
$chunkIdList = array_chunk($idList, $chunkLimit);
foreach ($chunkIdList as $item) {
$esModel->batchDelEsData($index, $type, $item);
}
// 将page + 1
$this->page += 1;
}
}
EsModel.php （文件名称）
/**
* 获取列表
**/
public function getList(string $index, string $type, array $query = [], array $sort = [], $limit, $page) {
self::$index = $index;
self::$type = $type;
$esModel = self::find();
if ($query) {
$esModel->query($query);
}
if (!$sort) {
$sort = ['field' => SORT_ASC/SORT_DESC];
}
$offset = ($page - 1) * $limit;
return $esModel->orderBy($sort)->offset($offset)->limit($limit)->asArray()->all();
}
从上边可以看出，我是利用limit, offset来进行偏移查询, 然后在进行批量删除，可是在进行删除的过程中执行近一半，跳出了while循环，es数据没有删除完整，原因则在于
数据的偏移
修改后的处理方式
- 固定的query, 可以在外加上"_id"当作查询条件，每次 "> $minId"
TestController.php (文件名称)
public $minId= 0;
... 以上都是类信息
public function actionDelEsData($limit = 1000, $chunkLimit = 100) {
$esModel = $this->container->get('EsModel');
$index = $esModel->index; #这里可以多个index
$type = $esModel->type; #相对应index,可以多个type
$query = [ // Yii2.0 框架中Es Query的写法
'bool' => [
'must' => [
'term' => []
],
'must_not' => [
'range' => []
]
]
];
$sort = ['_id' => SORT_ASC];
while($list = $esModel->getList($index, $type, $query, $sort, $limit, $this->minId)) {
$idList = array_column($list, '_id');
// 通过array_chunk进行分割，批次进行删除
$chunkIdList = array_chunk($idList, $chunkLimit);
foreach ($chunkIdList as $item) {
$esModel->batchDelEsData($index, $type, $item);
}
// 每次置换最小ID
$this->minId = end($list)['_id'];
}
}
EsModel.php （文件名称）
/**
* 获取列表
**/
public function getList(string $index, string $type, array $query = [], array $sort = [], $limit = 100, $minId = 0) {
self::$index = $index;
self::$type = $type;
$esModel = self::find();
$range = [
'bool' => [
'must' => [
'range' => [
'id' => ['gt' => $minId]
]
]
]
];
if ($query) {
$query['bool']['must'] = $range;
}else{
$query = $range;
}
$esModel->query($query);
if (!$sort) {
$sort = ['field' => SORT_ASC/SORT_DESC];
}
return $esModel->orderBy($sort)->limit($limit)->asArray()->all();
}
- 在偏移查询的时候，offset可以一直从0开始，样例如下：
TestController.php (文件名称)
public $page = 0;
... 以上都是类信息
public function actionDelEsData($limit = 1000, $chunkLimit = 100) {
$esModel = $this->container->get('EsModel');
$index = $esModel->index; #这里可以多个index
$type = $esModel->type; #相对应index,可以多个type
$query = [ // Yii2.0 框架中Es Query的写法
'bool' => [
'must' => [
'term' => []
],
'must_not' => [
'range' => []
]
]
];
$sort = ['_id' => SORT_ASC];
while($list = $esModel->getList($index, $type, $query, $sort, $limit, $this->page)) {
$idList = array_column($list, '_id');
// 通过array_chunk进行分割，批次进行删除
$chunkIdList = array_chunk($idList, $chunkLimit);
foreach ($chunkIdList as $item) {
$esModel->batchDelEsData($index, $type, $item);
}
}
}
EsModel.php （文件名称）
/**
* 获取列表
**/
public function getList(string $index, string $type, array $query = [], array $sort = [], $limit, $page) {
self::$index = $index;
self::$type = $type;
$esModel = self::find();
if ($query) {
$esModel->query($query);
}
if (!$sort) {
$sort = ['field' => SORT_ASC/SORT_DESC];
}
$offset = ($page - 1) * $limit;
return $esModel->orderBy($sort)->offset($offset)->limit($limit)->asArray()->all();
}
