在进入大数据领域来,一直使用微软的Azure HDInsight,当前在中国区仅支持在Windows系统上部署集群,虽然创建的过程很简单,但对于开发人员来说,就是一个黑盒子,在更深入的研究和开发扩展的过程中,遇到了不少麻烦。因此准备在本地手工搭建自己的HDP2.4集群进行研究和学习, 第一步通过VMWare创建虚拟机节点,安装操作系统,通过对比选择Centos7。
安装过程:
- 软件下载
- 创建虚拟机
- Centos配置
下载软件包:
- 虚拟机工具软件: VMware-workstation-full-12.0.1-3160714.exe
- Centos安装程序: CentOS-7-x86_64-DVD-1511.iso
- Java安装程序: jdk-8u91-linux-x64.rpm
注意:
- HDP2.4 与Centos7中文版有冲突,所以在Centos7安装的过程中,必须选择英文版
安装过程:
- 启动VMware Workstation, 在VM管理界面选择 "Create a New Virture Machine"
- 按向导选择OS镜像文件(即你下载到本地的 CentOS-7-x86_64-DVD-1511.iso 文件),如图
- 点击向导下一步:输入虚拟机名及本地存储路径。
- 点击向导下一步:输入分配给虚拟机的磁盘大小,选中“Store virtual disk as a single file" (这样文件夹下会比较干净)
- 点击向导下一步:按默认设置,点击”完成“,进入初始化安装界面。(当鼠标移动虚拟机安装界面时,可能出现找不着鼠标的现象,按Ctrl+Alt键)
- 初始化结束后,进入安装向导界面,如图(注意我上面说的,一定选择英文)
- 点击向导"Continue" (一次点击不行就点击两次:))
- 设置时间、时区 (亚洲、香港)
- "SoftWare Selection", 对于习惯于Windows的新手,可选择Gonme Desktop(带桌面版的linux),我选择默认的Mininal Install
- 选择磁盘分区,如果不挂接附加盘,点击此选项后,在弹出的页面,连续两次点击“Done"
- 此时安装配置设置完成,"Begin Installation"按纽可用,点击开始安装
- 安装过程中,在如上图的界面,点击“Root Password"图标,给Root用户设置密码
- 点击”User Creation", 在弹出的界面,新建一个用户,同时设置用户管理员权限
- 等待几分钟后,系统安装完成,会提示重启机器
- 在VM管理界面,选中名为hdp1的机器,点击右键-->选择"Settings....", 在弹出界面中,选择网络连接方式为”Bridged",如下图:
- 重启后输入用户名和密码后成功进入系统,则表示安装成功
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· .NET 10 首个预览版发布,跨平台开发与性能全面提升
· 全程使用 AI 从 0 到 1 写了个小工具
· 快收藏!一个技巧从此不再搞混缓存穿透和缓存击穿
· AI 插件第二弹,更强更好用
· Blazor Hybrid适配到HarmonyOS系统