摘要：
这次lab也是最后一次lab了，前面两次lab介绍了回归和分类，特别详细地介绍了线性回归和逻辑回归，这次的作业主要是非监督学习——降维，主要是PCA。数据集是神经科学的数据，来自于Ahrens Lab，数据公布在CodeNeuro data repository。相关ipynb文件见我 "githu 阅读全文
摘要：
这次lab主要主要是研究click through rate (CTR)。数据集来自于Kaggle的Criteo Labs dataset。相关ipynb文件见我 "github" 。 作业分成5个部分：one hot encoding处理特征；构造one hot encoding dictiona 阅读全文
摘要：
这次作业主要是有关监督学习，数据集是来自UCI Machine Learning Repository的Million Song Dataset。我们的目的是训练一个线性回归的模型来预测一首歌的发行年份。相关ipynb文件见我 "github" 。 作业主要分成5个部分：读取和解析数据，创建模型和评 阅读全文
摘要：
这是CS190.1x第一次作业，主要教你如何使用numpy。numpy可以说是python科学计算的基础包了，用途非常广泛。相关ipynb文件见我 "github" 。 这次作业主要分成5个部分，分别是：数学复习，numpy介绍，numpy和线性代数，lambda表达式和CTR预览（lab4的内容， 阅读全文
摘要：
这门课是CS100.1x的后续课，看课程名字就知道这门课主要讲机器学习。难度也会比上一门课大一点。如果你对这门课感兴趣，可以看看我这篇博客，如果对PySpark感兴趣，可以看我分析作业的博客。 Course Software Setup 这门课的环境配置和上一门一模一样，参考我的这篇博客 "CS10 阅读全文
摘要：
最近在研究xgboost，把一些xgboost的知识总结一下。这里只是把相关资源作总结，原创的东西不多。 原理 xgboost的原理首先看xgboost的作者陈天奇的 "ppt" 英文不太好的同学可以看看这篇博客 "xgboost原理" 。假如看了陈天奇的ppt还晕乎的同学，看了这篇应该能大概知道x 阅读全文
摘要：
这是这门课第一次接触机器学习，主题是Predicting Movie Ratings。难度比上一次作业要简单点。。上一次作业真的挺难。。。相关ipynb文件见我 "github" 。 这里我们会用到Spark MLlib的Alternating Least Squares方法去做一些比之前复杂的事情 阅读全文
摘要：
这次作业叫Text Analysis and Entity Resolution，比前几次作业难度要大很多。相关ipynb文件见我 "github" 。 实体解析在数据清洗和数据整合中是一个很重要，且有难度的问题。这次作业将用Apache Spark和文本分析的方法应用到实体解析。实体解析是指，从不 阅读全文
摘要：
CS100.1x简介 这门课主要讲数据科学，也就是data science以及怎么用Apache Spark去分析大数据。 Course Software Setup 这门课主要介绍如何编写和调试PySpark。本节主要介绍环境搭配。为了让所有人环境一致，本课程的编程环境是用Virtual Mach 阅读全文
摘要：
最近在刷kaggle的时候碰到了两种处理类别型特征的方法：label encoding和one hot encoding。我从stackexchange, quora等网上搜索了相关的问题，总结如下。 label encoding在某些情况下很有用，但是场景限制很多。比如有一列 [dog,cat,d 阅读全文