摘要:
WordCount.javaHadoop的分布式缓存机制使得一个job的所有map或reduce可以访问同一份文件。在任务提交后,hadoop将由-files和-archive选项指定的文件复制到HDFS上(JobTracker的文件系统)。在任务运行前,TaskTracker从JobTracker文件系统复制文件到本地磁盘作为缓存,这样任务就可以访问这些文件。对于job来说,它并不关心文件是从哪儿来的。在使用DistributedCache时,对于本地化文件的访问,通常使用Symbolic Link来访问,这样更方便。通过URI hdfs://namenode/test/input/file 阅读全文
摘要:
Fedora 14 yum 源 上海交大 [Fedora-ftp.sjtu.edu.cn]name=Fedora 14 – i386baseurl=http://ftp.sjtu.edu.cn/fedora/linux/releases/14/Fedora/i386/os/enabled=1gpgcheck=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-fedora[Everything-ftp.sjtu.edu.cn]name=Everything 14 – i386baseurl=http://ftp.sjtu.edu.cn/fedora/linu 阅读全文