随笔分类 -  hadoop迁移

Hadoop之 Balancer平衡速度
摘要：1. dfs.datanode.max.transfer.threads 修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanod 阅读全文

posted @ 2018-02-01 10:37 张冲andy 阅读(1112) 评论(0) 推荐(0) 编辑

HIVE之 Sqoop 1.4.6 安装、hive与oracle表互导
摘要：1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 1.2 阅读全文

posted @ 2018-01-29 17:23 张冲andy 阅读(557) 评论(0) 推荐(0) 编辑

Sqoop之 Sqoop 1.4.6 安装
摘要：1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 1.2 阅读全文

posted @ 2018-01-29 17:20 张冲andy 阅读(560) 评论(0) 推荐(0) 编辑

导航