摘要：
一切众生、一切佛的本性，就是一切万物的本体，本来是清净、圆明的，以中国文化来讲是“本善”的。不要把它作普通善恶的善来看，它是超越此相对待的善，是至善的，那为什么会动妄念？为什么会有世界？为什么会有万象差别的不同？佛法的形上学可与《易经》合参永明寿禅师以《楞严经》要旨答：“最初不觉，忽起动心。”觉与不... 阅读全文
摘要：
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下... 阅读全文
摘要：
1、算法题：有2个桶，容量分别为3升和5升，如何得到4升的水，假设水无限使用，写出步骤。 1）将5升的水倒入3升的桶中，此时5升的桶剩余2升 2）清空3升的桶，将5升桶里的2升水倒入2升桶中 3）将盛满5升水的桶向3升的里面倒，倒满为止，此时五升桶里的水为4升2、racle数据库中有一个表字段nam... 阅读全文
摘要：
标准SQL修改字段类型和长度语句：ALTER TABLE tableName modify column columnName 类型;例如Mysql的修改字段类型语句：alter table test modify column name varchar(255);Oracle修改字段类型和长度语句... 阅读全文
摘要：
1、下载源代码 http://www.python.org/ftp/python/2.5.2/Python-2.5.2.tar.bz22、 $ tar –jxvf Python-2.5.2.tar.bz2 $ cd Python-2.5.2 $ ./configure $ make $ ... 阅读全文
摘要：
Mapreduce 模式中的 Pig对于 MapReduce 模式，必须首先确保 Hadoop 正在运行。要做到这一点，最简单的方法是在 Hadoop 文件系统树的根上执行文件列表操作，如 清单 3 所示。清单 3. 测试 Hadoop 可用性$ hadoop dfs -ls /Found 3 it... 阅读全文
摘要：
Pig Latin 是一个相对简单的语言，它可以执行语句。一调语句 就是一个操作，它需要输入一些内容（比如代表一个元组集的包），并发出另一个包作为其输出。一个包 就是一个关系，与表类似，您可以在关系数据库中找到它（其中，元组代表行，并且每个元组都由字段组成）。用 Pig Latin 编写的脚本往往遵... 阅读全文
摘要：
使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在... 阅读全文
摘要：
一位医生在接到紧急手术的电话后，以最快的速度赶到医院并换上手术服，男孩的父亲失控地对他喊道：“你怎么这么晚才来？你难道不知道我儿子正处在危险中吗？你怎么一点责任心都没有。”医生淡然地笑着说：“很抱歉，刚刚我不在医院，接到电话就马上赶来了，您冷静一下。“冷静？如果手术室里躺着的是你的儿子，你能冷静... 阅读全文
摘要：
1、Working with UDF(user defined function) pig能够支持两种类型的UDFs：eval和load/store， 其中load/store的自定义函数主要是用来加载和保存特定的数据格式； eval自定义函数主要用来进行常规的数据转换。1.1 eval 如... 阅读全文
摘要：
1、练习 首先编写两个数据文件A： 0,1,2 1,3,4 数据文件B： 0,5,2 1,7,8 上传到HDFS对应目录/input目录下2、运行pig ,加载A和B 加载数据A：使用指定的分隔符, grunt> a = load '/input/A' using PigStora... 阅读全文
摘要：
1、在pig下载的安装包，解压完成了之后，有一个tutorial目录，我们使用里面的数据来开始pig学习。如果tutorial目录下没有存在pigtutorial.tar.gz文件的话，那么需要使用ant来编译出这个文件 如果没有ant，见分类linux下的ant安装2、进入tutorial目录，... 阅读全文
摘要：
1、检查空间是否够用（我的就是这个原因） df -hl 查看，如果可用的很少，那就是了。2、datanode是否正常启动 访问：50070，查看datanode的个数，如果不对应，重新启动3、是否在safemode下 hadoop dfsadmin -safemode get,查看，leave... 阅读全文
摘要：
1、下载 http://ant.apache.org/bindownload.cgi2、linux 下解压，tar -zxvf apache-ant...3、设置环境变量 ANT_HOME=... 添加ANT_HOME/bin进入PATH里面。4、source /etc/profile5、查看... 阅读全文
摘要：
1、新建MR工程 2、设置工程名字 3、finish 4、使用navicate浏览，使用package太长了。 5、将hadoop例子下的WordCount复制过来，当然我自己打的，重新熟悉一下。 改改包名即可。 一个示例完成。6、linux下准备数据文件 >hadoop dfs -m... 阅读全文
摘要：
1、复制linux下已配置安装好的hadoop目录进入windows, 同时修改hadoo-env.sh文件的JAVA_HOME为windows下的jdk目录。2、复制hadoop-eclipse-1.2.jar插件进入myeclipse文件夹下dropins下 下载：我的文件下有一个以hado... 阅读全文