elasticsearch批量局部更新数据
一.方法一
def update_data_batch(self,actions): """ 批量更新数据 :param actions: :return: """ item_list=[] for data in actions: dic = { "_index": self.index, "_type": self._type, "_op_type": "update", "_id": data.get('id'), "doc": data } item_list.append(dic) if len(item_list) == 500: success, _ = bulk(self.client, item_list) item_list.clear() if item_list: success, _ = bulk(self.client, item_list) print(success, _) self.client.indices.refresh() if __name__ == '__main__': ll = [] for i in range(10): dic = { "size": 1111, #要修改的字段 'id': i, #指定要更新的那条数据的id 'new_field':1 #新增字段 } ll.append(dic) es_tt.update_data_batch(ll)
其实就是把要更新的字段的值直接作为doc字段的值，另外是一定要指定_id的,也就是要更新到哪一条数据，_op_type指定操作方式为update，也就是更新
方法二.
ll = [] for num, data in enumerate(es_tt.scan_all_data()): insert_dic = { "_index": es_tt.index, "_type": es_tt._type, "_op_type": "update", # 指定更新方式插入数据 "_id": data.get('id'), "script": { "source": "ctx._source.size=params.size;ctx._source.price=params.times", # ctx._source.price指定是原数据要更新的字段为price， "params": { # params为参数，params中的字段名可以随便设置，值为用来替换原数据中字段的值 "size": num + 5, "times": num + 100 } } } ll.append(insert_dic) bulk(es_tt.client, ll)
#主要是指定script字段，里面有两个字段，source和params，soure指定原数据套替换的字段和替换成什么值，params指定要替换成的值
方法三.对于可迭代对象的增加元素呢(字符串、列表等)
1.对字符串修改
if __name__ == '__main__': a = ['赵', '钱', '孙', '李'] b = [1000, 2000, 3000, 4000] ll=[] for num, data in enumerate(es_tt.scan_all_data()): # 对字符串的追加更新 dic={ "_op_type": "update", "_index": es_tt.index, "_type": es_tt._type, "_id": data.get('id'), "script": { "source": "ctx._source.name+=params.tag", "params": {"tag": random.choice(a)} } } ll.append(dic) # 批量更新 bulk(es_tt.client, ll)
元素据：
{'name': '鞋子', 'size': ['S', 'M', 'L'], 'price': [300, 800, 200, 2000, 2000], 'id': 0}
{'name': '裤子', 'size': ['XL', 'S'], 'price': [100, 300, 2000, 1000], 'id': 1}
{'name': '裤子', 'size': ['XL', 'S', 'M'], 'price': [300, 200, 100, 4000, 3000], 'id': 2}
{'name': '裤子', 'size': ['L', 'M', 'S', 'XL'], 'price': [800, 100, 300, 600, 2000, 2000], 'id': 3}
{'name': '裤子', 'size': ['L', 'M'], 'price': [800, 600, 2000, 1000], 'id': 4}
{'name': '帽子', 'size': ['M', 'S'], 'price': [200, 100, 3000, 1000], 'id': 5}
{'name': '衬衣', 'size': ['S', 'M', 'XL'], 'price': [200, 300, 800, 1000, 3000], 'id': 6}
{'name': '衬衣', 'size': ['XL', 'L'], 'price': [600, 200, 2000, 2000], 'id': 7}
{'name': '裤子', 'size': ['L', 'S'], 'price': [800, 100, 3000, 4000], 'id': 8}
{'name': '衬衣', 'size': ['M', 'L', 'XL', 'S'], 'price': [100, 200, 800, 600, 1000, 4000], 'id': 9}
修改后
{'name': '鞋子钱', 'size': ['S', 'M', 'L'], 'price': [300, 800, 200, 2000, 2000], 'id': 0}
{'name': '裤子李', 'size': ['XL', 'S'], 'price': [100, 300, 2000, 1000], 'id': 1}
{'name': '裤子赵', 'size': ['XL', 'S', 'M'], 'price': [300, 200, 100, 4000, 3000], 'id': 2}
{'name': '裤子赵', 'size': ['L', 'M', 'S', 'XL'], 'price': [800, 100, 300, 600, 2000, 2000], 'id': 3}
{'name': '裤子赵', 'size': ['L', 'M'], 'price': [800, 600, 2000, 1000], 'id': 4}
{'name': '帽子赵', 'size': ['M', 'S'], 'price': [200, 100, 3000, 1000], 'id': 5}
{'name': '衬衣赵', 'size': ['S', 'M', 'XL'], 'price': [200, 300, 800, 1000, 3000], 'id': 6}
{'name': '衬衣赵', 'size': ['XL', 'L'], 'price': [600, 200, 2000, 2000], 'id': 7}
{'name': '裤子钱', 'size': ['L', 'S'], 'price': [800, 100, 3000, 4000], 'id': 8}
{'name': '衬衣李', 'size': ['M', 'L', 'XL', 'S'], 'price': [100, 200, 800, 600, 1000, 4000], 'id': 9}
2.对于列表更新
if __name__ == '__main__': a = ['赵', '钱', '孙', '李'] b = [1000, 2000, 3000, 4000] ll = [] for num, data in enumerate(es_tt.scan_all_data()): # 对字符串的追加更新 dic = { # 对列表的追加更新 "_op_type": "update", "_index": es_tt.index, "_type": es_tt._type, "_id": data.get('id'), "script": { "source": "ctx._source.price.add(params.tag)", "params": {"tag": random.choice(b)} } } ll.append(dic) # 批量更新 bulk(es_tt.client, ll)
元素据：
{'name': '鞋子', 'size': ['S', 'M', 'L'], 'price': [300, 800, 200], 'id': 0}
{'name': '裤子', 'size': ['XL', 'S'], 'price': [100, 300], 'id': 1}
{'name': '裤子', 'size': ['XL', 'S', 'M'], 'price': [300, 200, 100], 'id': 2}
{'name': '裤子', 'size': ['L', 'M', 'S', 'XL'], 'price': [800, 100, 300, 600], 'id': 3}
{'name': '裤子', 'size': ['L', 'M'], 'price': [800, 600], 'id': 4}
{'name': '帽子', 'size': ['M', 'S'], 'price': [200, 100], 'id': 5}
{'name': '衬衣', 'size': ['S', 'M', 'XL'], 'price': [200, 300, 800], 'id': 6}
{'name': '衬衣', 'size': ['XL', 'L'], 'price': [600, 200], 'id': 7}
{'name': '裤子', 'size': ['L', 'S'], 'price': [800, 100], 'id': 8}
{'name': '衬衣', 'size': ['M', 'L', 'XL', 'S'], 'price': [100, 200, 800, 600], 'id': 9}
修改后：
{'name': '鞋子', 'size': ['S', 'M', 'L'], 'price': [300, 800, 200, 2000], 'id': 0}
{'name': '裤子', 'size': ['XL', 'S'], 'price': [100, 300, 2000], 'id': 1}
{'name': '裤子', 'size': ['XL', 'S', 'M'], 'price': [300, 200, 100, 4000], 'id': 2}
{'name': '裤子', 'size': ['L', 'M', 'S', 'XL'], 'price': [800, 100, 300, 600, 2000], 'id': 3}
{'name': '裤子', 'size': ['L', 'M'], 'price': [800, 600, 2000], 'id': 4}
{'name': '帽子', 'size': ['M', 'S'], 'price': [200, 100, 3000], 'id': 5}
{'name': '衬衣', 'size': ['S', 'M', 'XL'], 'price': [200, 300, 800, 1000], 'id': 6}
{'name': '衬衣', 'size': ['XL', 'L'], 'price': [600, 200, 2000], 'id': 7}
{'name': '裤子', 'size': ['L', 'S'], 'price': [800, 100, 3000], 'id': 8}
{'name': '衬衣', 'size': ['M', 'L', 'XL', 'S'], 'price': [100, 200, 800, 600, 1000], 'id': 9}
