摘要: 在 Amazon EMR 版本 5.28.0 及更高版本中, Amazon EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。 参考:创建安装了 Hudi 的集群 Amazon EMR的版本和hudi的版本对应可以参考文档:Hudi 发行版历史记录 可以使用 阅读全文
posted @ 2016-03-17 16:25 tonglin0325 阅读(542) 评论(0) 推荐(0) 编辑
摘要: ACID ACID 是数据库事务管理的四个关键属性,用于确保数据在并发环境下的可靠性和一致性。 1.Atomicity(原子性) 原子性指的是一个事务中的所有操作要么全部执行成功,要么全部不执行。换句话说,事务是不可分割的最小单位。ACID模型的原子性主要涉及InnoDB事务。 例如,在银行转账操作 阅读全文
posted @ 2016-03-17 16:20 tonglin0325 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 1.安装mongo客户端 参考:ubuntu安装mongodb-4.4(通过apt命令) 2.连接mongodb mongo ip:27017/db_name -u user_name -p 3.创建collection 参考:MongoDB 教程 use xx_db db.createCollec 阅读全文
posted @ 2016-03-17 15:11 tonglin0325 阅读(302) 评论(0) 推荐(0) 编辑
摘要: airflow分布式部署所依赖的组件有mysql,redis,web-server,scheduler,worker等,可以将这些组件部署在不同的机器上,来减低单台机器的压力 单机安装请参考:Ubuntu16.04安装apache-airflow 然后在不同的机器上启动不同的组件 airflow w 阅读全文
posted @ 2016-03-17 14:24 tonglin0325 阅读(421) 评论(0) 推荐(0) 编辑