摘要：
1.DataX介绍 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源 阅读全文
摘要：
1 基础知识 1.1 存储单元 一个存储单元存储一个字节 1.2 地址总线 一个CPU有N根地址线，则可以说这个CPU的地址总线的宽度为N。这样的CPU最多可以寻找2的N次方个内存单元。 地址总线的宽度决定了CPU的寻址能力。 1.3 数据总线 数据总线的宽度决定了CPU和外界的数据传送速度。8根数 阅读全文
摘要：
下载地址：http://archive.apache.org/dist/flume/ 解压完毕 切换到安装目录下/usr/local/flume/apache-flume-1.6.0-bin/conf 1.简单示例 1.1 netcat模式 创建demoagent.conf 测试：Windows用t 阅读全文
摘要：
1.配置 三台服务器搭建Storm集群：CentOS7One,CentOS7Two,CentOS7Three 在CentOS7One机器上配置 1.1 zookeeper配置 目录：/opt/zookeeper/zookeeper-3.4.10/conf 编辑zoo.cfg 1.2 storm配置 阅读全文
摘要：
1.基本概念 Topologies ： 拓扑，也俗称一个任务,拓扑 Spouts ： 拓扑的消息源,Spout消息源 Bolts ： 拓扑的处理逻辑单元,Bolt消息处理者 tuple：消息元组，如Spout发送给Bolt、Bolt发送给Bolt的内容被看作是一个消息元组 Streams ： 流 S 阅读全文
摘要：
1.配置 在CentOS7Three上配置,注意：一定要安装bin包，不能安装src包 /usr/local/hbase/hbase-2.0.5/conf 编辑hbase-env.sh,替换成如下配置 编辑hbase-site.xml，增加配置 编辑regionservers 复制Hadoop的co 阅读全文
摘要：
1.Hive配置MySQL Hive只是一个工具，无需配置多台机器，我在CentOS7One机器上配置Hive /usr/local/hive/apache-hive-1.2.1-bin/conf 编辑hive-site.xml 配置MySQL连接地址 配置MySQL驱动包 配置数据库用户名 配置数 阅读全文
摘要：
1.HBase介绍 Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ when you need random, realtime read/write a 阅读全文
摘要：
Fiddler内置命令 我猜你肯定忽略了下边这个小黑框： 虽然它不是很显眼，但用好它，会让你的工作效率提高 N 倍！ 这跟喜欢 Linux 的朋友一样，肯定更倾向于用一两个命令代替鼠标不断的点点点操作。 Fiddler 将每个 HTTP 请求都作为一个会话（session）保留在左侧的框框中，而你可 阅读全文
摘要：
1.大量字段的sql语句 去掉`` 把``替换掉格式化 把所有的字段前面加上":" 编写正则替换之 替换结果为 2.爬虫请求参数格式化 待格式化字符串1 get请求的原始数据 打开editplus，ctrl+f 格式化结果如下，最后一行自行调整 待格式化字符串2 从Fiddler的WebForms拷 阅读全文
