随笔分类 -  NoSQL

摘要:安装 1、检查系统是否支持clickhouse安装 grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported.“SSE 4.2 supported” 代表可以安装,ClickHous 阅读全文
posted @ 2020-10-16 16:02 昕友软件开发 阅读(4103) 评论(0) 推荐(0) 编辑
摘要:一句话区别 OLTP:基于行存储的关系数据库,写入速度极快,用于数据记录修改场景,MySQL、Oracle OLAP:基于列存储,查询速度极快,用于海量数据分析,Clickhouse、Vertica、 Amazon Redshift、 Sybase IQ、 Exasol、 Infobright、 I 阅读全文
posted @ 2020-10-15 18:10 昕友软件开发 阅读(1123) 评论(0) 推荐(0) 编辑
摘要:整理出近几年的随笔笔记分类。 #Java多线程开发系列 Java多线程开发系列-基础 Java多线程开发系列-线程间协作 Java多线程开发系列-线程安全设计 Java多线程开发系列-线程活性故障 Java多线程开发系列-线程管理 CompletableFuture组合异步编程 Swing中的线程并 阅读全文
posted @ 2020-04-08 15:59 昕友软件开发 阅读(488) 评论(0) 推荐(0) 编辑
摘要:Bucket aggregations 桶聚合 Bucket聚合不像metrics聚合那样计算字段上的度量,而是创建文档的Bucket。每个bucket都与一个标准(取决于聚合类型)相关联,该标准确定当前上下文中的文档是否“落入”其中。换句话说,bucket有效地定义了文档集。除了bucket本身, 阅读全文
posted @ 2020-01-14 16:41 昕友软件开发 阅读(1304) 评论(0) 推荐(0) 编辑
摘要:聚合 类似于 DSL 查询表达式,聚合也有 可组合 的语法:独立单元的功能可以被混合起来提供你需要的自定义行为。这意味着只需要学习很少的基本概念,就可以得到几乎无尽的组合。 要掌握聚合,你只需要明白两个主要的概念: 桶(Buckets)满足特定条件的文档的集合指标(Metrics)对桶内的文档进行统 阅读全文
posted @ 2020-01-13 15:58 昕友软件开发 阅读(998) 评论(0) 推荐(0) 编辑
摘要:相关度评分背后的理论 Lucene(或 Elasticsearch)使用 布尔模型(Boolean model) 查找匹配文档,并用一个名为 实用评分函数(practical scoring function) 的公式来计算相关度。这个公式借鉴了 词频/逆向文档频率(term frequency/i 阅读全文
posted @ 2020-01-10 16:16 昕友软件开发 阅读(908) 评论(0) 推荐(0) 编辑
摘要:全文搜索 所有查询会或多或少的执行相关度计算,但不是所有查询都有分析阶段。和一些特殊的完全不会对文本进行操作的查询(如 bool 或 function_score )不同,文本查询可以划分成两大家族: 基于词项的查询 如 term 或 fuzzy 这样的底层查询不需要分析阶段,它们对单个词项进行操作 阅读全文
posted @ 2020-01-09 18:17 昕友软件开发 阅读(378) 评论(0) 推荐(0) 编辑
摘要:组合查询 组合多查询现实的查询需求从来都没有那么简单;它们需要在多个字段上查询多种多样的文本,并且根据一系列的标准来过滤。为了构建类似的高级查询,你需要一种能够将多查询组合成单一查询的查询方法。 你可以用 bool 查询来实现你的需求。这种查询将多查询组合在一起,成为用户自己想要的布尔查询。它接收以 阅读全文
posted @ 2020-01-09 15:10 昕友软件开发 阅读(305) 评论(0) 推荐(0) 编辑
摘要:创建索引和文档 注意:在7.x以后去掉了type的概念 过期的用法: PUT /megacorp/employee/1 提示types过期:Specifying types in document index requests is deprecated, use the typeless endp 阅读全文
posted @ 2020-01-07 18:01 昕友软件开发 阅读(298) 评论(0) 推荐(0) 编辑
摘要:主题: 1、kafka是写磁盘还是写内存? 2、kafka究竟是由 consumer 从 broker 那里拉数据,还是由 broker 将数据推到 consumer? 3、如何区分已消费(consumed)的记录? 4、kafka用什么方法保障持久化的低延迟和高效率? 5、kafka的消息保证有几 阅读全文
posted @ 2019-12-05 18:16 昕友软件开发 阅读(880) 评论(0) 推荐(1) 编辑
摘要:待发布 阅读全文
posted @ 2019-12-04 11:51 昕友软件开发 阅读(190) 评论(0) 推荐(0) 编辑
摘要:复制是基于操作日志oplog,相当于MySQL中的二进制日志,只记录发生改变的记录,复制是将主节点的oplog日志同步并应用到其他从节点的过程。 首先要理解两个概念:1、复制:提供冗余和高可用性;2、拆分分片:提供水平扩容; 复制提供冗余并增加数据可用性。通过在不同数据库服务器上提供多个数据副本,复 阅读全文
posted @ 2019-12-03 17:21 昕友软件开发 阅读(313) 评论(0) 推荐(0) 编辑
摘要:索引分类: 默认索引 单一索引 复合索引 多键索引(数组索引) 全文检索索引 2dsphere 索引 2D索引 ...... 索引属性: 到期TTL 唯一索引 部分索引 稀疏索引 索引通常能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件 阅读全文
posted @ 2019-12-02 16:40 昕友软件开发 阅读(475) 评论(0) 推荐(0) 编辑
摘要:文档关联模型通常有3种方式: 嵌入式(一对一、一对多) 后期手动统一ID处理(一对多、多对多) References引用(一对一、一对多) 文档树模型通常有3种方式: 父引用(Parent References) 子引用(Child References) 祖先数组(Array of Ancesto 阅读全文
posted @ 2019-12-02 11:02 昕友软件开发 阅读(2583) 评论(0) 推荐(0) 编辑
摘要:正确建模 开发人员在构建Cassandra数据库时犯的另一个主要错误是分区键的选择不佳。cassandra是分布式的。这意味着您需要有一种方法来跨节点分布数据。Cassandra通过散列每个表的主键(称为分区键)的一部分并将散列值token分配给集群中的特定节点来完成此操作。选择分区键时,请务必考虑 阅读全文
posted @ 2019-11-27 17:18 昕友软件开发 阅读(1587) 评论(0) 推荐(0) 编辑
摘要:Cassandra 提供了三种集合类型,分别是Set,List,MapSet: 非重复集,存储了一组类型相同的不重复元素,当被查询时会返回排好序的结果,但是内部构成是无序的值,应该是在查询时对结果进行了排序。List: 列表,查询时会按照元素在list中的index顺序来返回结果,可以存储多个重复的 阅读全文
posted @ 2019-11-26 10:12 昕友软件开发 阅读(1096) 评论(0) 推荐(0) 编辑
摘要:非规范化关系结构 第二部分我们讲了复合主键,这可以灵活的解决主从关系,也即是一对多关系,那么多对多关系呢?多对多关系的数据模型应该回答两个问题: 我跟着谁? 谁跟着我? 非规范化数据结构上面我们看到的第一个非规范化的例子,这是在多个地方存储相同数据的实践。在关系数据库模式中,非规范化通常是不受欢迎的 阅读全文
posted @ 2019-11-25 16:10 昕友软件开发 阅读(433) 评论(0) 推荐(0) 编辑
摘要:timeuuid类型 timeuuid具有唯一索引和日期时间的综合特性,可以与日期和时间函数联合使用,常用的关联函数: dateOf() now() minTimeuuid() and maxTimeuuid() toDate(timeuuid) toTimestamp(timeuuid) toUn 阅读全文
posted @ 2019-11-25 11:27 昕友软件开发 阅读(1928) 评论(0) 推荐(0) 编辑
摘要:Cassandra的特点 横向可扩展性: Cassandra部署具有几乎无限的存储和处理数据的能力。当需要额外的容量时,可以简单地将更多的机器添加到集群中。当新机器加入集群时,Cassandra需要对现有数据进行重新平衡,以使扩展集群中的每个节点具有大致相等的份额。而且,Cassandra集群的性能 阅读全文
posted @ 2019-11-22 17:45 昕友软件开发 阅读(618) 评论(0) 推荐(0) 编辑
摘要:代码存档 https://gitee.com/475660/databand/tree/master/databand-etl-flume https://gitee.com/475660/databand/tree/master/databand-mock-log 数据源Source RPC异构流 阅读全文
posted @ 2019-11-22 10:14 昕友软件开发 阅读(1925) 评论(0) 推荐(0) 编辑

欢迎访问我的开源项目:xyIM企业即时通讯
点击右上角即可分享
微信分享提示