python脚本 快速执行mapreduce程序
在命令行下执行mapreduce程序时,我们需要输入很长的字符串,文件的输入路径、输出路径等。
一个简单的python脚本即可,省去这些不必要的麻烦,以后执行mapreduce程序时,只需要进行稍微更改即可。runjob.py脚本内容如下:
#!/usr/bin/python import os cmd = 'hadoop jar examples.jar org.apache.hadoop.myexamples.WordCount hdfs://NameNode:9000/user/cloud/input/cite1.txt hdfs://NameNode:9000/user/cloud/output008' os.system(cmd)
下面,我们给这个文件赋予可执行的权限:
chmod 775 runjob.py //当前用户和当前用户所属的组具有读、写、执行的权限,其它用户具有读、写的权限。