摘要： 其实构建rnn的代码十分简单，但是实际上看了下csdn以及官方tutorial的解释都不是很详细，说的意思也不能够让人理解，让大家可能会造成一定误解，因此这里对rnn的参数做一个详细的解释： self.encoder = nn.RNN(input_size=300,hidden_size=128,d 阅读全文

摘要： 一.基于统计值的筛选方法 1.过滤法：选择特征的时候，不管模型如何，首先统计计算该特征和和label的一个相关性，自相关性，发散性等等统计指标。 优点：特征选择开销小，有效避免过拟合 缺点：没有考虑后续的学习器来选择特征，减弱了学习器的学习能力（因为某些特征可能和label算出来相关性不大，但是可能 阅读全文

摘要： 我总结了以下特征工程的一些方法，好的数据和特征往往在数据挖掘当中会给我们带来更好的acc，尤其对于数据挖掘而言。数据决定了预测准确度的上线，而模型的目的则是去尽量逼近这个上限。由此可见，对数据进行特征工程，拥有良好的数据是多么的重要。 对于特征工程而言，我们一般会对类别型数据或者数值型数据进行相应的 阅读全文

摘要： 【与传统GBDT相比，XGBoost有何不同】 基函数不同。GBDT只用CART树，XGBoost除了CART，也支持线性函数。 目标不同。具体体现在结点分裂策略与正则化。GBDT和XGBoost都是根据目标增益分裂结点，GBDT根据均方误差（回归）或基尼指数（分类），XGBoost则进一步引入正则 阅读全文

摘要： 在决策树算法当中，cart回归树是决策树的一种，它用来做回归的策略十分常见。可能还会在后续的GBDT模型当中所运用到，用来作为我们分裂节点的一个标准，我们来了解了解。 备注： 在进行计算回归树的c1和c2的值的时候，我们使用的方法，是对c1所在的区域做一个平均值，然后对c2的所在的区域算出一个平均值 阅读全文

摘要： 1.optuna基本使用 Optuna是一个自动帮助我们调试参数的工具，使用起来十分方便。比sklearn的gridsearchcv好用很多，一是因为optuna相比于sklearn能够快速进行调参，二是因为它可以将调试参数的过程进行可视化。同时可以如果没训练完，下次继续训练。而optuna内部使用 阅读全文

摘要： 1.seq2seq 一般在我们序列模型当中，都会分为encoder和decoder两个部分，如下图所示： 而我们的transformer变形金刚其实相当于是一种对我们seq2seq的一种升级版本，也就是在seq2seq上加上了self-attention，也就变成了我们的transformer，我们 阅读全文

摘要： 前言 真的是千呼万唤始出来emmmm，去年春招结束写了篇面试的经验分享。在文中提到和小伙伴整理了算法岗面试时遇到的常见知识点及回答，本想着授人以渔，但没想到大家都看上了我家的 ！但因本人执行力不足，被大家催到现在才终于想着行动起来分享给大家，笔者在这里给各位读者一个大大的抱歉，求原谅呜呜~~相信今年 阅读全文

摘要： 备注：如果标记为了国际学生，则有95%的概率为中国学生，可能偶尔夹杂着一两个印度人。 由于本篇文章引起了澳洲社区广泛的关注，因此这里说明一下本篇文章的来源，本篇文章的所有数据均来自于学校邮件，也就是usyd 经济系的honour招生邮件当中，每年只有优秀的经济系的学生会收到，而笔者的朋友也是其中之一 阅读全文

摘要： 代码如下： def objective(trial,data=data,target=target): train_x, test_x, train_y, test_y = train_test_split(data, target, test_size=0.15,random_state=42) 阅读全文