摘要：
由于最近在工作中刚接触到scala和Spark，并且作为python中毒者，爬行过程很是艰难，所以这一系列分为几个部分记录下学习《Spark快速大数据分析》的知识点以及自己在工程中遇到的小问题，以下阶段也是我循序了解Spark的一个历程。 先抛出几个问题： 什么是Spark？ Spark内部是怎么实 阅读全文
摘要：
这篇博文主要讲解下梯度与方向导数的关系、等值线图中梯度的表示，以及梯度的应用。因涉及太多高数的知识点，在此就不一一详述了，只是简单梳理下知识点，有所纰漏还望纠正指出，文末附有参考文献，借图。 一、方向导数与梯度 1、方向导数 导数引言 我们知道在二维平面上，F(x,y)=0 有斜率的概念，从名字上看 阅读全文
摘要：
网易内推题里的合唱团见链接：https://www.nowcoder.com/questionTerminal/661c49118ca241909add3a11c96408c8 我们为了能说清楚动态规划的思路，下面先简化下合唱团的题： 给定一个数组a[n]，里面的数值代表能量值（都为正数），现在顺序 阅读全文
摘要：
最近在看机器学习周志华那本书，受益颇多。我们先抛过来几个问题，再一一解答。 什么是偏差-方差分解？为什么提出这个概念？ 什么是偏差？什么是方差？ 什么是偏差-方差窘境？应对措施？ 1、偏差-方差分解的提出 我们知道训练往往是为了得到泛化性能好的模型，前提假设是训练数据集是实际数据的无偏采样估计。但实 阅读全文
摘要：
引言：我们假设有这种情况，训练数据有反例998个，正例2个，模型是一个永远将新样本预测为反例的学习器，就能达到99.8%的精度，这样显然是不合理的。 类别不平衡：分类任务中不同类别的训练样例数差别很大。 引言：我们假设有这种情况，训练数据有反例998个，正例2个，模型是一个永远将新样本预测为反例的学 阅读全文
摘要：
mark下面试问题 1、详细问了svm算法，提到了smo以及随机梯度和梯度的区别，什么是梯度下降，怎么求解，凸优化与非凸优化，为什么目标函数要使间隔最大化，学习率的设置。 2、学习的推荐书籍从哪获得 3、根据爬虫的项目问验证码识别（涉及了图像识别，讲了下PCA原理），以及爬取的网站页面结构总是变化该 阅读全文
摘要：
两轮技术骨干，一轮技术总监，最后CTO，然后hr。总共四轮技术+hr，还是小有收获的。 总体觉得面试问题灵活，难度中和公司业务衔接的知识点结合强。下面说下具体的流程： 一、一面 1、两道代码（时间复杂度） 2、k-means的伪码（提及了EM） 3、项目有挑战的地方，调参 4、讲解word2vec 阅读全文
摘要：
复习下深度遍历~ 题目简述：给定二维列表，可以任意位置出发，可以上下左右四个方向移动，只朝着比当前位置元素小的方向移动，输出所有可能得最长路径以及移动的步数。 思考： 1、考虑到每步上下左右四个方向试探，满足情况时选择一个方向移动，不满足时回退到上一个位置，选择其他满足的方向移动，即深度遍历。 2、 阅读全文
摘要：
最近在看周志华的机器学习，将第二章作下总结： 一、经验误差与过拟合 下面我们来认识几个常规的概念： 1、误差：学习模型的实际预测输出与样本的真实输出之间的差异。 2、经验误差\训练误差：学习模型在训练集上的误差。 3、泛化误差：在新样本上的误差。 4、过拟合：学习能力太强，把训练样本的本身自身特点当 阅读全文
摘要：
昨天刚开始是笔试，完事后两面技术面，最后hr面。第一次面试算法实习生，在此做下笔记，记录面试问题与自己的不足。 笔试： 回来看牛客网，居然发现大部分都有，但可惜我还没刷。 回忆下知识点从网上搜出这套题好多都有（2,5,6,7,8,9,21,42,46,48,49,53,55） 一、选择题 1. 某超 阅读全文