随笔分类 -  Distributed & BigData

数据湖 Iceberg
摘要：###数据湖(datalake) 传统数据库或数据仓库的特点 - 存储和计算绑定 - 专有数据格式 - 数据结构类型较为单一 - 对可靠性、一致性、数据事务要求较高 - 细粒度的数据权限控制 - 由于存储和计算绑定，容易优化，性能较高 - 扩展性能较一般 - 预先建模，写入型 schema，按预设的 阅读全文
posted @ 2022-01-25 23:54 moon~light 阅读(1491) 评论(0) 推荐(0) 编辑
数据库的选型
摘要：###影响数据库选择的因素 - 数据量：是否海量数据，单表数据量太大会考验数据库的性能 - 数据结构：结构化 (每条记录的结构都一样) 还是非结构化的 (不同记录的结构可以不一样) - 是否宽表：一条记录是 10 个域，还是成百上千个域 - 数据属性：是基本数据 (比如用户信息)、业务数据 (比如用 阅读全文
posted @ 2021-04-16 00:42 moon~light 阅读(2383) 评论(0) 推荐(0) 编辑
基于 Redis 和 ZooKeeper 的分布式锁
摘要：Redis 锁 SET key value EX 120 NX 该命令是原子操作，表示只有在 key 不存在的情况下，才会赋值成功，并且 120 秒后会自动删除，这样就实现了带超时时间的互斥锁功能，获得锁的程序删除 key 就是释放了锁，如果程序出错退出，达到超时时间后也会保证锁能被释放 这种方法在 阅读全文
posted @ 2020-04-02 01:56 moon~light 阅读(286) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示