摘要：
赛题地址：http://bdc.saikr.com/vse/bdc/2017 代码及详细思路PPT见：https://github.com/zle1992/2017-Big-Data-Challenge 1 引言 本次大赛以某人机验证产品采集的鼠标轨迹脱敏数据为基础，期望用机器学习算法来提高人机验证 阅读全文
摘要：
具体问题： 针对问题2的一个解决办法是将Python依赖库打包成*.egg文件，在运行pyspark或者spark-submit时使用–py-files加载egg文件。此解决方案的问题在于许多Python库都包含native code，编译时对平台依赖，并且对于一些复杂依赖的库（如Pandas） 阅读全文
摘要：
利用上一篇得到的城市经纬度算城市距离 阅读全文
摘要：
有2种方式，第一种是利用urllib , 方法1：利用urllib ， 先把url 转成urlcode,然后读取网页，读到网页再用json读取内容，比较麻烦。 可以在浏览器输入，看一下格式。 2.将查询转换为urlcode 读取网页内容： 读取json数据： 程序: 方法二：利用request模块， 阅读全文
摘要：
代码及数据：https://github.com/zle1992/MachineLearningInAction 决策树 优点:计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 缺点:可能会产生过度匹配问题。 适用数据类型:数值型和标称型。 创建分支的伪代码函数cre 阅读全文
摘要：
原始Liunx 的python版本不带numpy ，安装了anaconda 之后，使用hadoop streaming 时无法调用anaconda python ， 后来发现是参数没设置好。。。 进入正题： 环境： 4台服务器：master slave1 slave2 slave3。 全部安装ana 阅读全文
摘要：
实验室的服务器木有连接外网，无法使用pip进行安装，真正意义上的离线安装需要很多安装依赖包，下载起来很麻烦，而且版本号还不一定对。 另一种方法是利用源代码编译安装，那样也需要安装依赖包，比较麻烦。 经过折腾，我采用的是利用一台可以上外网的PC搭建代理服务器，利用代理服务器进行PIP安装。 搭建代理服 阅读全文
摘要：
3.1.7. Cross validation of time series data Time series data is characterised by the correlation between observations that are near in time (autocorre 阅读全文
摘要：
比赛得分公式如下： 其中，P为Precision , R为 Recall。 GBDT训练基于验证集评价，此时会调用评价函数，XGBoost的best_iteration和best_score均是基于评价函数得出。 评价函数： input: preds和dvalid，即为验证集和验证集上的预测值， r 阅读全文
摘要：
代码及数据：https://github.com/zle1992/MachineLearningInAction logistic regression 优点:计算代价不高，易于理解实现，线性模型的一种。 缺点:容易欠拟合，分类精度不高。但是可以用于预测概率。 适用数据范围:数值型和标称型。 准备数 阅读全文