随笔分类 - 调参（转载）
摘要：Classifying plankton with deep neural networksTheNational Data Science Bowl, a data science competition where the goal was to classify images of plank...
阅读全文
摘要：避免过度拟合之正则化“越少的假设，越好的结果”商业情景：当我们选择一种模式去拟合数据时，过度拟合是常见问题。一般化的模型往往能够避免过度拟合，但在有些情况下需要手动降低模型的复杂度，缩减模型相关属性。让我们来考虑这样一个模型。在课堂中有10个学生。我们试图通过他们过去的成绩预测他们未来的成绩。共有5...
阅读全文
摘要：Kaggle Competition Past SolutionsWe learn more from code, and from great code. Not necessarily always the 1st ranking solution, because we also learn ...
阅读全文
摘要：关于ADMM的研究（二）4. Consensus and Sharing本节讲述的两个优化问题，是非常常见的优化问题，也非常重要，我认为是ADMM算法通往并行和分布式计算的一个途径：consensus和sharing，即一致性优化问题与共享优化问题。Consensus4.1 全局变量一致性优化（Gl...
阅读全文
摘要：关于ADMM的研究（一）最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers》这篇文章，感觉很适合...
阅读全文
摘要：L1、L2范式及稀疏性约束假设需要求解的目标函数为： E(x) = f(x) + r(x) 其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有:L1范式约束(模型服从高斯分...
阅读全文
摘要：How Much Did It Rain? Winner's Interview: 1st place, Devin AnzelmoAn early insight into the importance of splitting the data on the number of radar sc...
阅读全文
摘要：利用模拟退火提高Kmeans的聚类精度Kmeans算法是一种非监督聚类算法，由于原理简单而在业界被广泛使用，一般在实践中遇到聚类问题往往会优先使用Kmeans尝试一把看看结果。本人在工作中对Kmeans有过多次实践，进行过用户行为聚类（MapReduce版本）、图像聚类（MPI版本）等。然而在实践中...
阅读全文
摘要：Google研究员Ilya Sutskever：成功训练LDNN的13点建议摘要：本文由Ilya Sutskever（Google研究员、深度学习泰斗Geoffrey Hinton的学生、DNNresearch联合创始人）所写，讲述了有关深度学习的见解及实用建议，包括深度学习为什么强大，如何强大，以...
阅读全文
摘要：Regularized Linear Regression with scikit-learnEarlier we covered Ordinary Least Squares regression. In this posting we will build upon this foundatio...
阅读全文
摘要：Facebook IV Winner's Interview: 1st place, Peter Best (aka fakeplastictrees)Peter Best (akafakeplastictrees) took 1st place inHuman or Robot?,our four...
阅读全文
摘要：Kaggle Bike Sharing Demand Prediction – How I got in top 5 percentile of participants?IntroductionThere are three types of peoplewhotake part in aKagg...
阅读全文
摘要：3.2. Grid Search: Searching for estimator parametersParameters that are not directly learnt within estimators can be set by searching a parameter spac...
阅读全文
摘要：Comparing randomized search and grid search for hyperparameter estimationCompare randomized search and grid search for optimizing hyperparameters of a...
阅读全文
摘要：谈谈如何训练一个性能不错的深度神经网络深度学习大火，将各个数据集的state of the art不断地刷新，到了开源代码一放出，有种全民皆可刷排名的节奏。不过可别把刷数据想的那么简单，不然大家去哪发paper，怎么混饭吃= = 但是我不想发paper就想占坑刷数据怎么办，看到cifar10都尼玛刷...
阅读全文
摘要：机器学习中的正则化和范数规则化正则化和范数规则化文章安排：文章先介绍了正则化的定义，然后介绍其在机器学习中的规则化应用L0、L1、L2规则化范数和核范数规则化，最后介绍规则化项参数的选择问题。正则化(regularization)来源于线性代数理论中的不适定问题，求解不适定问题的普遍方法是:用一族与...
阅读全文
摘要：CNN训练Cifar-10技巧关于数据集 Cifar-10是由Hinton的两个大弟子Alex Krizhevsky、Ilya Sutskever收集的一个用于普适物体识别的数据集。Cifar是加拿大政府牵头投资的一个先进科学项目研究所。说白了，就是看你穷的没钱搞研究，就施舍给你。Hinton、Be...
阅读全文
摘要：[machine learning] Loss Function view有关Loss Function（LF），只想说，终于写了一、Loss Function什么是Loss Function？wiki上有一句解释我觉得很到位，引用一下：The loss function quantifies th...
阅读全文
摘要：Otto Product Classification Winner's Interview: 2nd place, Alexander Guschin ¯\_(ツ)_/¯TheOtto Group Product Classification Challengemade Kaggle histor...
阅读全文
