06 2020 档案

ElasticSearch对字段去重统计技术，实现SQL中的count(distinct(*)) 效果
摘要：1 public long countDistinctField(String esIndex, String countField, SearchSourceBuilder sourceBuilder) { 2 long count = 0; 3 if (StringUtils.isBlank(e 阅读全文
posted @ 2020-06-18 18:47 seufelix 阅读(3124) 评论(0) 推荐(0) 编辑
ES对字段去重统计，抛出异常:java.lang.IllegalArgumentException: Two sibling aggregations cannot have the same name:
摘要：出错场景：多次调用ES统计方法，第二次时会报错。 解决办法：在AggregationBuilders.cardinality("tempField").field("countFiled")，中的"tempField"用一个随机字符串代替。 查询后取结果的时候，再用随机字符串取出。 阅读全文
posted @ 2020-06-18 18:34 seufelix 阅读(1872) 评论(0) 推荐(0) 编辑
文件正行正则式匹配
摘要：有时我们会遇到文件中存在一些无用的信息，而且文件量很大或行数很多。 我们可以用正则表达式匹配那些不需要的行，然后替换成空即可。 Notepad可以同时打开大量文件，然后用替换功能，选择其中的正则表达式模式匹配。 如下图所示: 其中匹配整行的正则表达式为^(.*)string(.*)\r\n stri 阅读全文
posted @ 2020-06-17 18:11 seufelix 阅读(372) 评论(0) 推荐(0) 编辑
windows下合并大量文件
摘要：(1)在大量文件所在的目录,在地址栏输入cmd,进行cmd模式。 (2)copy *.txt destination.txt 执行这样的命令即可。文件格式可以更改。 阅读全文
posted @ 2020-06-17 18:02 seufelix 阅读(679) 评论(0) 推荐(0) 编辑
Solr数据CSV格式导出
摘要：solr的提供了一个CSV Response writer，可以帮助我们导出的Solr的结果，导出成CSV文件。 http://localhost:8983/solr/select?q=huawei&fl=id,cat,name,popularity,price,score&wt=csv&rows= 阅读全文
posted @ 2020-06-16 18:08 seufelix 阅读(1215) 评论(0) 推荐(0) 编辑
ElasticSearch批量更新文档
摘要：1 /** 2 * 批量更新文档 3 * 4 * @param index ES索引 5 * @param documents 待提交的批量文档 6 * @param uuidKey 文档中ID字段对应的key值 7 */ 8 public BulkResponse updateDocumentsA 阅读全文
posted @ 2020-06-12 10:08 seufelix 阅读(3408) 评论(0) 推荐(0) 编辑
ElasticSearch工具类
摘要：1 import com.alibaba.fastjson.JSON; 2 import lombok.extern.slf4j.Slf4j; 3 import org.apache.commons.collections4.CollectionUtils; 4 import org.apache. 阅读全文
posted @ 2020-06-12 09:59 seufelix 阅读(1117) 评论(0) 推荐(0) 编辑
Java对字符串进行MD5处理
摘要：可以用apache工具类DigestUtils实现 使用的类完整路径：org.apache.common.codec.digest.DigestUtils public static string md5(String str){ if(str == null){ return ""; } reut 阅读全文
posted @ 2020-06-01 10:56 seufelix 阅读(2329) 评论(0) 推荐(0) 编辑