摘要: <! TOC "代码" "参考" "注意" <! /TOC 代码 Github地址:https://github.com/HanseyLee/RabbitMQClient 参考 https://stackoverflow.com/questions/18418936/rabbitmq and rel 阅读全文
posted @ 2019-08-06 17:22 HanseyLee 阅读(582) 评论(0) 推荐(0) 编辑
摘要: 0. 背景 Hive 实现缓慢变化维,没有使用事务表的更新和删除操作(最新版本Hive已经支持,但需要Server/Client做相应配置,Hive实现的事务还有一定的局限性) Hive 自身的SQL使用MapReduce引擎,速度慢,这里使用SparkSQL实现 自动化的SCD引擎待后续实现 参考 阅读全文
posted @ 2019-08-06 17:19 HanseyLee 阅读(954) 评论(0) 推荐(0) 编辑
摘要: MongoDB 作为文档型 NoSql 数据库,它的集合表结构往往不像关系型数据库那么固定和统一,同一个集合下的文档(document)的字段变化和差异可能很大,特别是在数据模型缺乏良好规划和规范的数据库。 当接手一个基于 MongoDB 存储、计算的新项目,在缺乏 ORM 等映射抽象的情况下,了解 阅读全文
posted @ 2019-01-26 22:09 HanseyLee 阅读(371) 评论(0) 推荐(0) 编辑
摘要: MongoDB Python官方驱动 PyMongo 的简单封装类 DBManager。主要特性:对数据库和集合的操作确保其存在性;支持PyMongo的原生操作,包括基本的CRUD操作、批量操作、MapReduce、多线程和多进程等;支持因果一致性会话和事务的流水线操作,并给出简单示例。 阅读全文
posted @ 2019-01-07 09:09 HanseyLee 阅读(1922) 评论(0) 推荐(0) 编辑