随笔分类 -  大数据

大数据学习笔记记录
大数据踩坑实录
摘要：大数据平台中JDK版本尽量使用1.8。我开始使用的是openJDK11，结果yarn启动不起来，出现了很多异常，还需要一些特殊的配置。 如果hadoop 集群中namenode 使用了HA配置的话，在使用Spark时 需要将core site.xml和hdfs site.xml拷贝到Spark的co 阅读全文
posted @ 2019-11-23 15:53 ydk-XL 阅读(371) 评论(0) 推荐(0)
Ubuntu 18.04 设置静态IP
摘要：1. 在VMware中进行设置 编辑 虚拟网络编辑器 更改设置 2. 修改本地的IP适配器 3. 修改虚拟机的配置文件 编辑配置文件 修改配置文件 配置生效 测试 阅读全文
posted @ 2019-10-15 14:38 ydk-XL 阅读(164) 评论(0) 推荐(0)
hadoop集群搭建流程
摘要：安装环境 利用VMware创建了5台ubuntu18.04的虚拟机，主机名分别是hadoop01 hadoop05,采用NAT网络连接，IP分别为192.168.111.130 192.168.111.134。 安装过程 1 切换到root用户下。设置root用户密码方式 （利用xshell向所有的 阅读全文
posted @ 2019-09-20 15:54 ydk-XL 阅读(302) 评论(0) 推荐(0)