随笔分类 - 面试资料
摘要：写在前面：栈是先入后出，与之相反的是队列，队列是先进先出的线性结构。队列是只允许在一端进行插入操作，而在另一端进行删除操作的线性表。允许插入的一端称为队尾，允许删除的一端称为队头。 图1 队列的定义 队列的存储结构中使用的最多的是循环队列。循环队列的一个好处是：可以利用这个队列之前用过的空间。 在一
阅读全文
摘要：1.查找文件 find / -name filename.txt 根据名称查找/目录下的filename.txt文件。 2.查看一个程序是否运行 ps –ef|grep tomcat 查看所有有关tomcat的进程 3.终止线程 kill -9 19979 终止线程号位19979的线程 4.查看文件
阅读全文
摘要：1.关于dropout的训练测试阶段理解 dropout可以让模型训练时，随机让网络的某些节点不工作（输出置零），也不更新权重(但会保存下来，下次训练得要用，只是本次训练不参与bp传播)，其他过程不变。我们通常设定一个dropout radio=p，即每个输出节点以概率p置0（不工作，权重不更新），
阅读全文
摘要：一.什么是HDFSHDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。 是基于流数据模式访问和处理超大文件的需求而开发的。HDFS思想就是分而治之再综合的过程，但是对于我们使用者来说是透明的，就像我们使用Windows的文件系统一样，只需要知道你要
阅读全文
摘要：首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下： MR是基于进程，spark是基于线程 Spark的多个task跑在同一个进程上，这个进程会伴随spark应用程序的整个生命周期，即使没有作业
阅读全文
摘要：认知和学习Hadoop，我们必须得了解Hadoop的构成，下面通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍： hadoop中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MAPREDUCE —— 实现在很多机
阅读全文
摘要：一.Map的原理和运行流程 Map的输入数据源是多种多样的，我们使用hdfs作为数据源。文件在hdfs上是以block(块，Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片，即Split（分片，逻辑划分，不包含具体数据，只包含这些数据的位置信息）,那么上图中
阅读全文
摘要：由上述推导可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的梯度消失现象。而使用cross-entropy时，w、b的梯度就不会出现上述的情况。所以M
阅读全文
摘要：1.数据竞赛流程 数据分析主要目的是分析数据原有的分布和内容； 特征工程目的是从数据中抽取出有效的特征； 模型训练与验证部分包括数据划分的方法以及数据训练的方法； 模型融合参考我的另一篇介绍模型融合的博客。 1.1.数据分析 在拿到数据之后，首先要做的就是要数据分析(Exploratory Data
阅读全文
摘要：写在前面：相关模型的具体介绍请阅读我的另一篇博客机器学习算法岗面试与提问总结 1.请你介绍一下逻辑回归模型LR LR（Logistic Regression）虽然是回归模型，但却是经典的分类方法。 对比一下SVM，在二分类问题中，如果你问SVM，它只会回答你该样本是正类还是负类；而你如果问LR，它则
阅读全文
摘要：1 贝叶斯方法 长久以来，人们对一件事情发生或不发生的概率，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概
阅读全文
摘要：一.写在前面 一个完整的机器学习工程师的面试过程主要有以下这些环节：自我介绍、项目介绍、算法推导和解释、数据结构与算法题（写代码）。 关于自我介绍，主要就是简单介绍下自己的教育背景，在校期间的研究方向和所做的项目以及在项目中所充当的角色等等，为之后的面试做个铺垫，让面试官从中捕捉点来问。 项目介绍是
阅读全文
摘要：写在前面： 1.Wasserstein GAN（下面简称WGAN）成功地做到了以下爆炸性的几点： 彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度 基本解决了collapse mode的问题，确保了生成样本的多样性 训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进
阅读全文
摘要：⽜顿法是梯度下降法的进一步发展，梯度下降法利用目标函数的一阶偏导数信息、以负梯度方向作为搜索方向，只考虑目标函数在迭代点的局部性质；而牛顿法不仅使用目标函数的一阶偏导数，还进一步利⽤了目标函数的二阶偏导数，这样就考虑了梯度变化的趋势，因⽽而能更全面地确定合适的搜索方向加快收敛，它具有二阶收敛速度。
阅读全文
摘要：现在很多大型IT企业在面试时都喜欢问一些智力相关的题目，虽然智力面试题在面试笔试中占的比例不大，但很多时候，面试环节中智力题往往会成为我们拿offer的最大拦路虎。因为有些面试官认为通过智力题可以考查你的思维能力、抽象问题的能力。 题目1： 有一栋楼共100层，一个鸡蛋从第N层及以上的楼层落下来会摔
阅读全文
摘要：常用排序算法总结 排序算法大体可分为两种： 一种是比较排序，时间复杂度O(nlogn) ~ O(n^2)，主要有：冒泡排序，选择排序，插入排序，归并排序，堆排序，快速排序等。 另一种是非比较排序，时间复杂度可以达到O(n)，主要有：计数排序，基数排序，桶排序等。 1. 常用的比较排序算法 有一点我们
阅读全文
摘要：本文主要回顾下几个常用算法的适应场景及其优缺点！ 机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热
阅读全文
摘要：我们给定一个三个时间的RNN单元，如下： 我们假设最左端的输入 为给定值， 且神经元中没有激活函数（便于分析）， 则前向过程如下： 在 时刻， 损失函数为 ，那么如果我们要训练RNN时， 实际上就是是对 求偏导， 并不断调整它们以使得 尽可能达到最小（参见反向传播算法与梯度下降算法)。 那么我们得到
阅读全文
摘要：写在前面：首先需要明确了解的是正负样本比例悬殊不是本质原因，而是表象，不均衡导致模型表现差的本质原因是；1.类别分布的重叠，简单来说就是不同类别的特非常接近，或者更极端的是特征没差的情况下标签却不同；2.噪声问题，很多完全没用的样本被引入，比如因为一些意外的原因标注错误的样本等；3.类别分布的子分布
阅读全文
摘要：要了解深度学习中的注意力模型，就不得不先谈Encoder-Decoder框架，因为目前大多数注意力模型附着在Encoder-Decoder框架下，当然，其实注意力模型可以看作一种通用的思想，本身并不依赖于特定框架，这点需要注意。 Encoder-Decoder框架可以看作是一种深度学习领域的研究模式
阅读全文