Hadoop学习笔记一
云帆大数据视频学习笔记,记录如下。
一、主机名设置的规范
/etc/hosts文件中添加如下的记录:
192.168.1.128 hadoop-yarn.cloudyhadoop.com had-yarn
需要注意的地方:
1.顺序问题,带域名的主机名在前,短主机名在后
2.不能出现大写字母
3.不能有重复的IP地址
二、远程连接的设置
本地连接远程Linux服务器时,使用SSH2协议,代替非安全的telnet协议,端口号为22.
使用工具从本地上传文件,或者从服务器下载文件到本地时,使用的是SFTP协议,端口号也是22.
文件的编码格式一般为无BOM的UTF-8格式。
以图形化方式连接远程主机时,可以使用XManager工具中的XBrowser,使用SSH协议,GNOME方式连接远程主机的图形化桌面。
即使服务器是以命令行方式启动的,也可以用图形化方式进行连接和操作。
四、YARN:一个新的MapReduce框架,任务调度与资源管理。