随笔分类 - 大数据
大数据相关
摘要:CDH环境搭建 一:准备三台虚拟机hadoop101,hadoop102,hadoop102 1、默认没有vim编辑器,可以执行命令进行安装(出现提示,输入y即可) vim install vim 2、ip映射,打开hosts文件,新增三条与主机的映射关系(三台主机都要修改) vim /etc/ho
阅读全文
摘要:hive中文注释乱码解决方法 注意:如果hive-site.xml文件里面默认配置的是UTF-8格式,可以省略一二步 第一步:进入hive安装目录下面的conf目录,修改hive-site.xml文件 cd /opt/module/hive/conf vim hive-site.xml 第二步:修改
阅读全文
摘要:hadoop集群及hive搭建 一、hadoop集群规划: 安装VMvare,使用三台centos 7虚拟机进行集群搭建,每台虚拟机的规划 主机名 ip 用户 hdfs yarn node1 待定 node1 NameNode、DataNode NodeManager、ResourceManager
阅读全文
摘要:linux搭建datax、datax-web 一、所需组件 1、jdk1.8 2、mysql5.7 3、python2.7 4、datax 5、datax-web 二、开始安装 1、安装jdk mkdir -p /export/server/ 软件安装目录 jdk安装配置环境配置将jdk安装包上传到
阅读全文
摘要:hive环境配置(linux) 系统环境:centos7 数据库:MySQL5.7 hive:apache-hive-3.1.2 下载地址:https://dlcdn.apache.org/hive/hive-3.1.2/ hadoop:hadoop-3.3.0(配置参考上一篇笔记) 1、安装配置m
阅读全文
摘要:Linux下配置hadoop环境配置 系统环境:centos7 jdk:jdk-8u291 hadoop:hadoop-3.3.0 http://archive.apache.org/dist/hadoop/core/ ssh:finalshell 一、jdk安装 cd 到跟目录下 cd / 新建文
阅读全文