摘要： what is DataX ？ DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。 实现包括MySQL，SQL Server，Oracle，PostgreSQL，HDFS，Hive，HBase，OTS，ODPS等各种异构数据源之间高效的数据同步功能。 1.从Github下载源码，地址：h 阅读全文

摘要： 1.环境以及规划 机器:centos7.5 ; 文件系统为ext4；内存16g；cpu8核，共三个节点； 2 .本地下载tidb-ansible-master.zip，上传到中控机，然后重命名为tidb-ansible; 3.安装ansible： cd tidb-ansible 6.编辑invert 阅读全文

摘要： 1.刚开始在windows平台测试搭建，报各种问题，搭建可以参考官网https://superset.incubator.apache.org/installation.html#deeper-sqlalchemy-integratio 问题汇总： 1.1 需要安装Visual C++ 2015 ; 阅读全文

摘要： 一、ElasticSearch-SQL介绍 ElasticSearch-SQL（后续简称es-sql）是ElasticSearch的一个插件，提供了es 的类sql查询的相关接口。支持绝大多数的sql查询支持。 ElasticSearch-sql 地址：https://github.com/NLPc 阅读全文

摘要： 1.停掉外部接入服务； 2 NameNode Metadata备份； 2.1 备份fsimage数据，（该操作适用HA和非HA的NameNode），使用如下命令进行备份： [root@cdh01 dfs]# mkdir nn_metadata_back [root@cdh01 dfs]# hdfs 阅读全文

摘要： Broker Configs Consumer Configs Producer Configs Producer Configs 阅读全文

摘要： 集群现状： 共有五个节点，配置为16核32g内存，数据节点为1T ssd盘，非数据节点为100g ssd盘； 角色规划： 1.每次操作都需要更改配置文件inventory.ini，都是在tidb用户下进行； 2.初始化，打通新增节点与已有节点间免密码登录(tidb)用户； 3.扩容tidb节点两个 阅读全文

摘要： 7.Hive授权参考(开启sentry之后,对用户授权用不了,只能针对用户组，grant role testrole to user xxxxxxx; ) 7.1：角色创建和删除 create role star_read ; drop role star_read ; grant role sta 阅读全文

摘要： 单服务器最大tcp连接数及调优汇总 单机最大tcp连接数 网络编程 在tcp应用中，server事先在某个固定端口监听，client主动发起连接，经过三路握手后建立tcp连接。那么对单机，其最大并发tcp连接数是多少？ 如何标识一个TCP连接 在确定最大连接数之前，先来看看系统如何标识一个tcp连接 阅读全文

摘要： 1.本来整合这个插件是比较简单易操作的，但是由于公司从AWS下载禁掉了，给安装带来一些麻烦， 采用离线安装，先FQ将elasticsearch-sql-5.1.2.0.zip下载下来； 参考文档：https://github.com/NLPchina/elasticsearch-sql 2.其次安装 阅读全文