摘要: 作者:foreyou出处:http://www.foreyou.net/2015/06/22/spark-cluster-mode-overview/声明:本文采用以下协议进行授权: 署名-非商用|CC BY-NC 3.0 CN ,转载请注明作者及出处。本篇文章作为理解Spark框架的入门文章,对《... 阅读全文
posted @ 2015-06-23 09:47 foreyou 阅读(863) 评论(0) 推荐(0) 编辑
摘要: 原文地址:[《如何做Gibbs采样(how to do gibbs-sampling)》](http://www.foreyou.net/2015/06/07/how-to-do-gibbs-sampling/)---------------------------------###随机模拟 随机... 阅读全文
posted @ 2015-06-13 11:17 foreyou 阅读(719) 评论(0) 推荐(0) 编辑
摘要: 一,进程终止有5种方式:正常退出:从main函数返回调用exit调用_exit异常退出:调用abort由信号终止二,exit和_exit区别:关于_exit(): #include void _exit(int status); #include void _Exit(int status);D... 阅读全文
posted @ 2015-03-13 08:13 foreyou 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 这是归属于链接器工具错误这一类。无法解析的外部符号“symbol”代码引用了链接器无法在库和对象文件中找到的内容(如函数、变量或标签)。可能的原因代码请求的内容不存在(例如,符号拼写错误或使用错误的大小写)。代码请求的内容错误(使用的是混合版本的库,一些库来自产品的一个版本,而其他则来自另一个版本)... 阅读全文
posted @ 2015-03-08 18:40 foreyou 阅读(1347) 评论(0) 推荐(0) 编辑
摘要: 1.直接把项目复制到Tomcat安装目录的webapps目录中,这是最简单的一种Tomcat项目部署的方法,也是初学者最常用的方法。2.在tomcat安装目录中有一个conf文件夹,打开此文件夹,其中包含配置文件server.xml,打开配置文件,并在和之间插入如下语句。 其中,docBa... 阅读全文
posted @ 2014-12-13 16:50 foreyou 阅读(872) 评论(0) 推荐(0) 编辑
摘要: 扩展KMP: 给出模板串A和子串B,长度分别为lenA和lenB,要求在线性时间内,对于每个A[i](0k,所以又有A[i..p]==B[i-k..p-k],设L=next[i-k],则根据next的定义有B[0..L-1]==B[i-k..i-k+L-1]。考虑i-k+L-1与p-k的关系:... 阅读全文
posted @ 2014-10-31 15:34 foreyou 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 遇到的问题描述:在hadoop上面执行程序,程序运行之后能够正常执行。一切似乎都是正常的,然而过了一段时间之后程序便开始阻塞直到程序超时退出(如下)。14/08/19 21:17:51 INFO mapred.JobClient: map 99% reduce 71%14/08/19 21:17:5... 阅读全文
posted @ 2014-08-26 13:02 foreyou 阅读(3462) 评论(0) 推荐(0) 编辑
摘要: 在运行hadoop程序时经常遇到异常java.io.IOException: Task process exit with nonzero status of 1。网上很多博文都说是磁盘不够的问题。 其实我很多时候遇到这个问题是因为程序抛出org.apache.hadoop.mapred.Ch... 阅读全文
posted @ 2014-08-26 11:38 foreyou 阅读(295) 评论(0) 推荐(0) 编辑
摘要: 核心功能描述 应用程序通常会通过提供map和reduce来实现Mapper和Reducer接口,它们组成作业的核心。 Map是一类将输入记录集转换为中间格式记录集的独立任务。 这种转换的中间格式记录集不需要与输入记录集的类型一致。一个给定的输入键值对可以映射成0个或多个输出键值对。Hadoop ... 阅读全文
posted @ 2014-08-21 16:48 foreyou 阅读(649) 评论(0) 推荐(0) 编辑
摘要: hadoop是基于java的数据计算平台,引入第三方库,例如C语言实现的开发包将会大大增强数据分析的效率和能力。 通常在是用一些工具的时候都要用到一些配置文件、资源文件等。接下来,借一个例子来说明hadoop上面如何使用JNI、以及调用资源文件。首先介绍一下ICTClass,ICTClass是中国科... 阅读全文
posted @ 2014-08-21 10:31 foreyou 阅读(725) 评论(1) 推荐(0) 编辑