随笔分类 -  大数据

大数据相关
摘要:CDH环境搭建 一:准备三台虚拟机hadoop101,hadoop102,hadoop102 1、默认没有vim编辑器,可以执行命令进行安装(出现提示,输入y即可) vim install vim 2、ip映射,打开hosts文件,新增三条与主机的映射关系(三台主机都要修改) vim /etc/ho 阅读全文
posted @ 2022-07-26 15:57 左叔 阅读(525) 评论(0) 推荐(0) 编辑
摘要:hive中文注释乱码解决方法 注意:如果hive-site.xml文件里面默认配置的是UTF-8格式,可以省略一二步 第一步:进入hive安装目录下面的conf目录,修改hive-site.xml文件 cd /opt/module/hive/conf vim hive-site.xml 第二步:修改 阅读全文
posted @ 2022-04-29 11:52 左叔 阅读(1069) 评论(0) 推荐(0) 编辑
摘要:hadoop集群及hive搭建 一、hadoop集群规划: 安装VMvare,使用三台centos 7虚拟机进行集群搭建,每台虚拟机的规划 主机名 ip 用户 hdfs yarn node1 待定 node1 NameNode、DataNode NodeManager、ResourceManager 阅读全文
posted @ 2022-04-29 11:42 左叔 阅读(776) 评论(0) 推荐(0) 编辑
摘要:linux搭建datax、datax-web 一、所需组件 1、jdk1.8 2、mysql5.7 3、python2.7 4、datax 5、datax-web 二、开始安装 1、安装jdk mkdir -p /export/server/ 软件安装目录 jdk安装配置环境配置将jdk安装包上传到 阅读全文
posted @ 2022-04-01 16:49 左叔 阅读(2540) 评论(0) 推荐(2) 编辑
摘要:hive环境配置(linux) 系统环境:centos7 数据库:MySQL5.7 hive:apache-hive-3.1.2 下载地址:https://dlcdn.apache.org/hive/hive-3.1.2/ hadoop:hadoop-3.3.0(配置参考上一篇笔记) 1、安装配置m 阅读全文
posted @ 2022-03-29 14:33 左叔 阅读(378) 评论(0) 推荐(0) 编辑
摘要:Linux下配置hadoop环境配置 系统环境:centos7 jdk:jdk-8u291 hadoop:hadoop-3.3.0 http://archive.apache.org/dist/hadoop/core/ ssh:finalshell 一、jdk安装 cd 到跟目录下 cd / 新建文 阅读全文
posted @ 2022-03-28 16:30 左叔 阅读(1474) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示