摘要:
运行Pydoop程序 Pydoop程序和其他的hadoop pipes应用程序一样,都需要一个工作的Hadoop集群,如果没有的话,你可以参考安装一个单机模式的Hadoop集群,将Hadoop集群配置成一个伪分布式模式,然后开启必须的守护进程。 pipes 命令行模式如下所示:${HADOOP_HOME}/bin/hadoop pipes -conf conf.xml -input input -output output inputpath 和 output 分别是Hadoop的上你的应用程序需要访问的输入数据路径和结果输出路径。从本地读入程序的配置文件,配置文件是一个如下所示的由键值对组. 阅读全文
摘要:
1、安装scipy、numpy、pyfitssudo apt-get install python-scipysudo apt-get install python-numpysudo apt-get install python-pyfits测试安装是否成功:使用python命令进入命令行,然后分别输入:import scipy、import numpy、import pyfits是否有错,没有则正确2、安装pydoop前提:系统安装boost,检测,写一个c程序包含regex.hpp编译通过则安装完成,#include <boost/regex.hpp>安装boost:sudo 阅读全文