01 2025 档案
摘要：向量化 表示成数字后方便电脑处理，向量化以后得空间结构，展现出了一定的规律 如何找到词语的正确位置？ 随机产生词向量，而后根据语料库进行训练 损失函数：计算出的结果和实际结果之间的差距，可以通过数学方法来收敛以使得差距越来越小 Word2Vec：词向量模型，Google提出的词向量化的方法，词嵌入
阅读全文
摘要：当前业务数据架构面临的挑战 典型的多产品组合方案，数据链路多，访问接口多，数据重复冗余 Lindorm 技术架构 Lindorm 核心能力 海量、低成本 水平扩展，百PB规模 支持多种介质，HDD、SSD、块存储、对象存储及其混合 自适应透明压缩，10倍压缩比 纠删码EC、1.25副本实现高可靠 自
阅读全文
摘要：数据库系统的发展演进 结构化、半结构化、非结构化数据的区别 结构化数据 半结构化数据 非结构化数据 结构性 严格固定 具有一定结构，非严格 无固定结构 存储方式 关系型数据库 文档数据库、文件存储 文件系统、大数据存储 查询难度 简单 (SQL) 中等 (NoSQL/查询工具) 较难 (特定工具或算
阅读全文
摘要：数据分片 Redis Cluser采用虚拟槽分区，所有的键根据哈希函数映射到 0~16383 整数槽内，计算公式：slot = CRC16（key）&16383。每一个节点负责维护一部分槽以及槽所映射的键值数据。 Redis虚拟槽分区的特点： 解耦数据和节点之间的关系，简化了节点扩容和收缩难度。 节
阅读全文
摘要：支持的特性 所有数据都必须放在内存中 支持数据持久化：AOF和RDB两种类型 支持异步数据复制 Redis Cluster 支持7种数据结构(String, Lists, Sets, Sorted Set, Hash, Bit arrays, HyperLogLogs) 以单线程方式处理请求，数据持
阅读全文
摘要：Redis 中比较常见的数据类型有下面这些： 5 种基础数据类型：String（字符串）、List（列表）、Set（集合）、Hash（散列）、Zset（有序集合）。 3 种特殊数据类型：HyperLogLog（基数统计）、Bitmap （位图）、Geospatial (地理位置)。 除了上面提到的之
阅读全文
