02 2022 档案
摘要：摘要： 下面首先简单介绍了搜索引擎的性能，然后详细说明了HBase与MySQL的性能对比，这里的数据都是经过实际的测试获得的。最后，给出了采用多线程批量从HBase中取数据的方案，此方案经过测试要比通过自定义Filter的方式性能高出很多。 关键词： HBase, 高性能, 获取数据, 性能对比,
阅读全文
摘要：删除命令对照表 练习例子 删除/etc/passwd中的第15行 1 sed -i '1d' passwd 删除/etc/passwd中的8行到14行的所有内容 1 sed -i '8,14d' passwd 删除/etc/passwd中的不能登录的用户(筛选条件：/sbin/nologin) 1
阅读全文
摘要：Log Cleanup 简介 在Kafka中，存在数据过期的机制，称为data expire。如何处理过期数据是根据指定的policy（策略）决定的，而处理过期数据的行为，即为log cleanup。 在Kafka中有以下几种处理过期数据的策略： · log.cleanup.policy=delet
阅读全文
摘要：导入数据后发现大量分区字段插入错误，需要批量删除分区，发现不能批量操作，只能手写一个脚本分布执行。 shell 脚本如下： ports="8888" user='' pwd='' host='' dbtable='' drop_sql=(`curl -u $user:$pwd 'http://hos
阅读全文
摘要：同比、环比分析是一对常见的分析指标，其增长率公式如下： 同比增长率 =（本期数 - 同期数) / 同期数 环比增长率 =（本期数 - 上期数) /上期数 在一些提供了开窗函数的数据库中(如Oracle、Hive)，可以利用lag()、lead()函数配合over()，非常方便的实现同比和环比的查询。
阅读全文
摘要：Bool query 包含那些？ Bool query 对应lucene 的BooleanQuery，一般由一个或者多个查询子句组成，如下表格所示： 用法描述 must 查询一定包含匹配查询内容，并且提供得分 filter 查询一定包含匹配查询内容，但是不提供得分，会对查询结果进行缓存 should
阅读全文
摘要：shell中用sftp连接报错，发现是校验证书的，可以先手动连接一下。在当前用户目录下的./ssh里面会生成一个秘钥。这样下次就会不校验直接可以登录了。在这里插入图片描述cd: Fatal error: Host key verification failed.ls: ls -l: Fatal er
阅读全文
摘要：如何优雅高效的在海量数据存储与查找 对于这个问题我们首先可能会想到直接去存储这40亿个数据，当然这确实是一种方法。但是我们是否考虑过这样做的后果呢？如果你的解决方案就是上面的那种方法的话，那你可能真的没有考虑过后果。所以你有必要继续往下读。 我们先不管后果是什么，现在我来带大家看一组数据，假设这40
阅读全文
