摘要:
摘要:Intel会和Hadoop擦出怎样的火花?今年7月Intel发布了Hadoop发行版,在功能和用户界面进行了完善。Intel在GitHub维护开源项目Project Panthera,并积极招募committer。目前Intel在Apache Hadoop社区中没有一位committer,但你不能小看CPU巨人投入Hadoop怀抱的热情和努力。【CSDN报道】Intel在今年7月发布了首个Hadoop发行版,用Intel亚太研发有限公司总经理、Intel软件与服务事业部中国区总经理何京翔博士的原话来说,这是“过去几年研究的成果。”在2012Hadoop与大数据技术大会上,Intel将推出 阅读全文
摘要:
首先,将测试数据上载到hadoop的hdfs上。进入hadoop目录后输入命令:bin/start-all.sh(启动hadoop的守护进程)输入jps看进程是否启动,启动完成后输入命令:bin/hadoop fs -put input02 input //将hadoop目录下的input02文件夹上载到文件系统hdfs上输入命令:bin/hadoop fs -ls//查看文件系统上的文件 也可以用bin/hadoop fs -ls input 查看文件是否上载成功文件上载成功后,打开eclipse Maxtemperature代码 -->右击-->Run as-->Run 阅读全文
摘要:
第1章 引言1.1 编写目的介绍pig,一个不得不说的hadoop的扩展。1.2 什么是pigPig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。1.3 pig的特点1、专注于于大量数据集分析(ad-hoc analysis , ad-hoc 代表:a solution that has been custom designed for a specific problem ); 2、运行在集群的 阅读全文
摘要:
进入vi的命令 vi filename :打开或新建文件,并将光标置于第一行首 vi +n filename :打开文件,并将光标置于第n行首 vi + filename :打开文件,并将光标置于最后一行首 vi +/pattern filename:打开文件,并将光标置于第一个与pattern匹配的串处 vi -r filename :在上次正用vi编辑时发生系统崩溃,恢复filename vi filename....filename :打开多个文件,依次进行编辑 移动光标类命令h :光标左移一个字符 l :光标右移一个字符 space:光标右移一个字符 Backspace:光标左移一个字 阅读全文
摘要:
Pig是yahoo捐献给apache的一个项目,它是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。Pig是一个客户端应用程序,就算你要在Hadoop集群上运行Pig,也不需要在集群上装额外的东西。Pig的安装是灰常的简单的:1、安装JAVA6(在Windows的话要装Cygwin),设置好JAVA_HOME。% export JAVA_HOME=/home/tom/jdk1.62、到http://hadoop.ap 阅读全文