摘要： 最近用 IDEA 导入 Hadoop 源码， 但下载依赖特别慢。导致经常需要重启 IDEA 并且下载的过程非常艰难， 网上找了一些方法，各种尝试，终于解决了这个问题。本篇文章总结最关键的两点，希望能帮助到还在坑里的人。 修改依赖镜像 Maven 默认到国外站点下载依赖，这是慢的主要原因。所以最好配置 阅读全文

摘要： 上一章我们搭建了分布式的 Hadoop 集群。本章我们介绍 Hadoop 框架中的一个核心模块 - MapReduce。MapReduce 是并行计算模块，顾名思义，它包含两个主要的阶段，map 阶段和 reduce 阶段。每个阶段输入和输出都是键值对。map 阶段主要是对输入的原始数据做处理，按照 阅读全文

摘要： 缘起 大学的时候，记得班里好多同学学习Android、iOS开发，那时候客户端开发非常火，并且工作后工资也很高。但是我并没有心动，我觉得这么多人去学并不一定是件好事，很可能跟网站开发一样，一段时间市场饱和后就不会有那么大的需求量，现在看来这个判断是正确的。我想学习一门技术现在处于起步期，但是未来比较 阅读全文

摘要： 这篇文章主要讲解CRF++实现预测的过程，预测的算法以及代码实现相对来说比较简单，所以这篇文章理解起来也会比上一篇条件随机场训练的内容要容易。 预测 上一篇条件随机场训练的源码详解中，有一个地方并没有介绍。 就是训练结束后，会把待优化权重alpha等变量保存到文件中，也就是输出到指定的模型文件。在执 阅读全文

摘要： 上篇的CRF++源码阅读中， 我们看到CRF++如何处理样本以及如何构造特征。本篇文章将继续探讨CRF++的源码，并且本篇文章将是整个系列的重点，会介绍条件随机场中如何构造无向图、前向后向算法、如何计算条件概率、如何计算特征函数的期望以及如何求似然函数的梯度。本篇将结合条件随机场公式推导和CRF++ 阅读全文

摘要： 我在学习条件随机场的时候经常有这样的疑问，crf预测当前节点label如何利用其他节点的信息、crf的训练样本与其他的分类器有什么不同、crf的公式中特征函数是什么以及这些特征函数是如何表示的。在这一章中，我将在CRF++源码中寻找答案。 输入过程 CRF++训练的入口在crf_learn.cpp文 阅读全文

摘要： 介绍 最近在用条件随机场做切分标注相关的工作，系统学习了下条件随机场模型。能够理解推导过程，但还是比较抽象。因此想研究下模型实现的具体过程，比如：1） 状态特征和转移特征具体是什么以及如何构造 2）前向后向算法具体怎么实现 等等。那么，想要深入了解一个算法比较好的方式就是阅读现有的开源项目。阅读好的 阅读全文