随笔分类 - hadoop
摘要:最近要在10几台机器上安装hadoop。对于这种繁复而重复的工作,一步步的打命令行,对于程序员来说是一件不能忍的事情。所以我就琢磨着怎么写一个脚本来自动安装hadoop。
任务: 在10几台机器上中的任意一台执行脚本,即可安装好hadoop。
条件: 每台机器的用户名和密码都是一样的。每台机器都配置好了ssh,能够远程登录。
解决思路:
1. 首先读取配置文件,读取到节点的ip和想要的机器名字,然后修改好本地hadoop的配置文件。
2. 然后读取配置文件,复制所有文件到每个节点的安装的路径。(利用scp命令可以远程复制)
3. 然后读取配置文件,自动ssh到每个节点做一些配置工作,包括配置hadoop和JDK 环境变量、生成ssh-key。
4. ssh到主节点,将每个节点(包括主节点自己)生成的public key 都复制并追加到自己的authorized_keys. 然后把这个authorized_keys分发到每个节点。
阅读全文
摘要:hadoop 伪分布模式的配置
转自 http://blog.csdn.net/zhaogezhuoyuezhao/article/details/7328313
阅读全文