Solr 18 - 通过SolrJ局部更新Solr中的文档 (原子操作、非覆盖操作)
1 需求分析
(1) 需求:
向Solr中的文档添加新的字段并赋值, 或者修改已有的字段, 对不修改的要保持原值, 也就是不能进行完全覆盖操作.
(2) 前提:
添加的字段(field)要提前在schema.xml文件中定义, 否则Solr无法处理这些字段, 肯定会导致添加失败.
关于schema.xml文件的配置, 可参考: Solr的schema.xml模式文件解读 (Solr的模式设计与优化)
(3) 分析: 我们可以使用Solr提供的原子更新, 来实现相关需求:
Solr支持的原子更新:
set: 修改指定文档中该field的值, 如果这个field已经存在, 则更新, 如果不存在, 则追加到这个文档中 —— 可以是单值, 也可以是multi-valued;
add: 向指定文档中的field字段添加值, 这个field必须是multi-valued类型的, 否则将出错 —— 只能是multi-valued;
inc: 对指定文档中数值类型的值进行自增操作 —— 只能是数值类型, 包括int、long、float、double.
2 需求实现
2.1 pom.xml依赖
<!-- 项目较早, 使用的是4.10.4版本的Solr -->
<dependency>
<groupId>org.apache.solr</groupId>
<artifactId>solr-solrj</artifactId>
<version>4.10.4</version>
</dependency>
2.2 Java代码示例
(1) 先获取Solr连接:
String zkHost= "ip:port,ip:port,ip:port";
// 扩大并发连接数
ModifiableSolrParams params = new ModifiableSolrParams();
params.set(HttpClientUtil.PROP_MAX_CONNECTIONS, 1000);
params.set(HttpClientUtil.PROP_MAX_CONNECTIONS_PER_HOST, 100);
HttpClient client = HttpClientUtil.createClient(params);
LBHttpSolrServer lbServer = new LBHttpSolrServer(client);
CloudSolrServer solrServer = new CloudSolrServer(zkHost, lbServer);
// 为 Solr 连接设置默认的 Collection
solrServer.setDefaultCollection("C_Book");
// 设置ZooKeeper连接超时时间
solrServer.setZkClientTimeout(18000);
solrServer.setZkConnectTimeout(36000);
(2) 准备需要处理的Solr文档, 相关注意事项已经在代码注释中作了详细说明:
// 为了提高效率, 可以使用批量操作
Collection<SolrInputDocument> updateDocList = new ArrayList<>();
for (int i = 0; i < 5; ++i) {
SolrInputDocument doc = new SolrInputDocument();
// 局部更新需要指定文档的id(在schema.xml中配置的主键),
// 主键不需要添加set、add等信息, 其他需要原子更新的field需要构造为Map
doc.addField("id", i);
// 局部更新需要借助Map, 这个Map的Key必须是“set”
Map<String, String> publisherMap = new HashMap<>();
publisherMap.put("set", "人民邮电出版社");
// 修改图书的出版社, key是field, value是上述的Map
doc.addField("publisher", publisherMap);
// 在已有仓库的基础上, 再添加多个仓库, 注意: 此field必须是multi-valued类型
Map<String, List<String>> stockCityMap = new HashMap<>();
List<String> list = new ArrayList();
list.add("广州");
list.add("深圳");
// 局部添加需要借助Map, 这个Map的Key必须是“add”
stockCityMap.put("add", list);
// 修改图书的仓库城市, key是field, value是上述的Map
doc.addField("stockCity", stockCityMap);
// 在已有图书价格的基础上: 每本增加9.50元, 注意: 此field必须是数值类型
Map<String, Long> priceMap = new HashMap<>();
// 局部自增需要借助Map, 这个Map的Key必须是“inc”
priceMap.put("inc", 9.50L);
// 修改图书的价格, key是field, value是上述的Map
doc.addField("price", priceMap);
// _version_值为0: 如果待修改的文档存在, 则修改; 如果不存在, 则添加
doc.addField("_version_", 0);
updateDocList.add(doc);
}
(3) 向SolrCloud中提交批量添加请求:
// 连接SolrCloud
solrServer.connect();
// 添加提交文档List
UpdateResponse rsp = solrServer.add(updateDocList);
System.out.println("操作状态: " + rsp.getStatus() + ", 操作时间:" + rsp.getQTime());
// 提交策略: 不用手动提交, 交由Solr服务根据配置自动进行软提交;
// 如果要手动提交, 不要使用无参方法, 推荐指定提交策略: 是否等待刷新(建议不等待: 会阻塞)、等待可搜索(建议不等待: 会阻塞)、软提交
UpdateResponse rspCommit = solrServer.commit(false, false, true);
System.out.println("提交状态: " + " result:" + rspCommit.getStatus() + ", 操作时间: " + rspCommit.getQTime());
3 补充说明
3.1 关于文档中_version_的取值说明
(1) version < 0: 如果待修改的文档存在, Solr会拒绝修改; 如果不存在, 就添加这个文档.
(2) version = 0: 如果待修改的文档存在, 就更新这个文档; 如果不存在, 就添加这个文档.
(3) version = 1: 如果待修改待文档存在, 就更新这个文档; 如果不存在, Solr会拒绝修改它, 并抛出类似的错误信息:
version conflict for 1 expected=1 actual=-1
(4) version > 1: 如果文档的_version_值和传入的_version_值不同, Solr就会拒绝修改; 值相同时才执行修改.
3.2 store=true/false的区别
(1) 如果某个字段在schema.xml中指定了store=false, 那么即使这个字段有值, 在更新的时候也会被Solr丢弃, 而指定为store=true的字段则不会;
(2) 对于multi-field(多值)字段, 如果指定其store=false, 则在原子更新使用add的时候会级联清除该字段之前的数据.
参考资料
版权声明
出处: 博客园 马瘦风的博客(https://www.cnblogs.com/shoufeng)
感谢阅读, 如果文章有帮助或启发到你, 点个[好文要顶👆] 或 [推荐👍] 吧😜
本文版权归博主所有, 欢迎转载, 但 [必须在文章页面明显位置标明原文链接], 否则博主保留追究相关人员法律责任的权利.
