随笔分类 - Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构;Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS
摘要:1.DataX介绍 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源
阅读全文
摘要:下载地址:http://archive.apache.org/dist/flume/ 解压完毕 切换到安装目录下/usr/local/flume/apache-flume-1.6.0-bin/conf 1.简单示例 1.1 netcat模式 创建demoagent.conf 测试:Windows用t
阅读全文
摘要:1.配置 在CentOS7Three上配置,注意:一定要安装bin包,不能安装src包 /usr/local/hbase/hbase-2.0.5/conf 编辑hbase-env.sh,替换成如下配置 编辑hbase-site.xml,增加配置 编辑regionservers 复制Hadoop的co
阅读全文
摘要:1.Hive配置MySQL Hive只是一个工具,无需配置多台机器,我在CentOS7One机器上配置Hive /usr/local/hive/apache-hive-1.2.1-bin/conf 编辑hive-site.xml 配置MySQL连接地址 配置MySQL驱动包 配置数据库用户名 配置数
阅读全文
摘要:1.HBase介绍 Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ when you need random, realtime read/write a
阅读全文
摘要:1.HA架构注意事项 2.搭建准备 准备七台机器 3.安装过程 在CentOS7One机器上安装jdk、hadoop的过程不再赘述,参考本文 首先配置免密 CentOS7One需要免密连接CentOS7Five,CentOS7Six,CentOS7Seven,用以启动zookeeper,datano
阅读全文
摘要:本地模式运行 1.在Windows里的IDE直接运行main方法,会将job提交给本地执行器localjobrunner执行 本地存放Hadoop安装包 输入输出数据可以放在本地路径下(c:/wc/srcdata/) 输入输出数据也可以放在hdfs中(hdfs://CentOS7One:9000/w
阅读全文
摘要:Hadoop配置文件 /etc/profile 配置Java和Hadoop环境 配置文件在/etc/hadoop core-site.xml fs.defualtFS:配置主节点namenode地址 hadoop.tmp.dir:在本地文件系统所在的NameNode的存储空间和持续化处理日志 map
阅读全文
摘要:1.Hadoop安装 Apache的国内镜像地址: 地址1:http://mirror.bit.edu.cn/apache/ 地址2:https://mirrors.tuna.tsinghua.edu.cn/apache Hadoop安装教程 2.HDFS(Hadoop Distributed Fi
阅读全文
摘要:在虚拟机中安装Linux,我这里选用VMware虚拟机;Linux版本是Ubuntu VMware安装Ubuntu这里就不做说明了,网上有很多教程 1.安装jdk 开始安装 2.配置Java环境变量 进入/etc/profile文件 输入以下内容 可能会遇到“您没有权限修改”,尝试输入 sudo g
阅读全文