摘要：
这一段参考了网上一些其他作者的思路，主要查看了这篇帖子：http://50059.blog.51cto.com/40059/290460。下面说一下我的具体操作过程。 1.修改三个节点的host文件（三个节点相同）： sudo vi /etc/hosts 加入以下三行： 192.168.1.90 master 192.168.1.91 slave1 192.168.1.92 slave2 2.在三个节点的hadoop用户目录下生成公钥/私钥对： ssh-keygen -t rsa 每个节点都会生成.ssh目录（用ls -al可以查看到隐藏文件和文件属性） cd .ssh... 阅读全文
摘要：
这几天看了一篇斯坦福Cheng-Tao Chu等人写的论文《Map-Reduce for Machine Learning on Multicore》，其中讲到如何把机器学习算法和MapReduce结合应用，利用最近炙手可热的云计算技术和传统的机器学习算法相结合，在拥有海量数据的数据中心上肯定能发挥很大的作用。因此，我决定使用hadoop搭一个测试环境来尝试一下论文中的方法。 首先介绍一下环境，我使用本人的笔记本电脑当服务器，配置是双核P8400，2G内存，操作系统是windows XP。在主机上使用vmware7.1.4虚拟了3个fedora12系统，每个都分配512的内存和10G的硬... 阅读全文