摘要： DataWorks：阿里云数据同步工具，类似datax开源。 MaxCompute：阿里云数据存储工具，类似hive。 EMR：阿里云大数据平台，类似cdh。 阅读全文

摘要： Hive 通过HiveServer2对外提供服务,HiveServer2 是一种能使客户端执行 Hive 查询的服务。 HiveServer2 实现了一个新的基于 Thrift 的 RPC 接口，该接口可以处理客户端并发请求。当前版本支持 Kerberos，LDAP 以及自定义可插拔身份验证。新的 阅读全文

摘要： 创建RAM用户：https://ram.console.aliyun.com/users LDAP认证：https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/use-ldap-authentication?spm=a2c4g.11186623.0. 阅读全文

摘要： yarn.nodemanager.resource.memory-mb（重点） 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。假如服务器内存64G，设置32G。 yarn.nod 阅读全文

摘要： 【西南电新】 23H1为特高压“真空期”，24H1行业有望提出新催化。#短期看，根据建设周期推算：2023年以来“4直”陆续核准招标，对应公司在24H2开始集中确认收入；“5直”需25年底前投运，则需在24H1全部核准招标。且第二批风光大基地“十四五”外送150GW，除已有规划外仍有新增直流线路缺口 阅读全文

摘要： 原文链接：https://blog.51cto.com/u_15851118/5811786?articleABtest=0 阅读全文

摘要： 1、源库nummic-->hive decimal这个datax抽取的时候默认string，精度没丢失 阅读全文

摘要： 1、Sqoop有很好的并发性，DataX是单进程的。2、Sqoop只可以从关系型数据库导入hadoop,不支持关系型数据库之间以及大数据组件之间的数据迁移，例如MySQL-oracle，hive-hbase之间是不支持的。3、dataX都是支持的Sqoop本质是一个mapreduce的作业，而Dat 阅读全文

摘要： mysql连接jdbc修改时区都不行 &serverTimezone=Asia/Shanghai &serverTimezone=Hongkong &serverTimezone=GMT%2B8 解决方案： 对字段加8个小时 DATE_ADD(CREATETIME, INTERVAL 8 HOUR) 阅读全文

摘要： 本文会先讲述数据同步的 4 种方案，并给出常用数据迁移工具 1.前言 在实际项目开发中，我们经常将 MySQL 作为业务数据库，ES 作为查询数据库，用来实现读写分离，缓解 MySQL 数据库的查询压力，应对海量数据的复杂查询。这其中有一个很重要的问题，就是如何实现 MySQL 数据库和 ES 的数 阅读全文