随笔分类 -  hadoop

摘要:最近要在10几台机器上安装hadoop。对于这种繁复而重复的工作,一步步的打命令行,对于程序员来说是一件不能忍的事情。所以我就琢磨着怎么写一个脚本来自动安装hadoop。 任务: 在10几台机器上中的任意一台执行脚本,即可安装好hadoop。 条件: 每台机器的用户名和密码都是一样的。每台机器都配置好了ssh,能够远程登录。 解决思路:   1. 首先读取配置文件,读取到节点的ip和想要的机器名字,然后修改好本地hadoop的配置文件。   2. 然后读取配置文件,复制所有文件到每个节点的安装的路径。(利用scp命令可以远程复制)   3. 然后读取配置文件,自动ssh到每个节点做一些配置工作,包括配置hadoop和JDK 环境变量、生成ssh-key。   4. ssh到主节点,将每个节点(包括主节点自己)生成的public key 都复制并追加到自己的authorized_keys. 然后把这个authorized_keys分发到每个节点。 阅读全文
posted @ 2014-01-10 18:25 写程序的⑨ 阅读(4913) 评论(5) 推荐(2) 编辑
摘要:hadoop 伪分布模式的配置 转自 http://blog.csdn.net/zhaogezhuoyuezhao/article/details/7328313 阅读全文
posted @ 2013-10-31 00:16 写程序的⑨ 阅读(262) 评论(0) 推荐(0) 编辑