随笔分类 - AI(人工智能)
摘要：版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/wsp_1138886114/article/details/80552230 <!-- flowchart 箭头图标 勿删 --> 集成学
阅读全文
摘要：https://www.cnblogs.com/Lin-Yi/p/10387648.html 为什么要做归一化或者标准化？ 主要是为了调整样本数据每个维度的量纲，让每个维度数据量纲相同或接近。 为什么要调整量纲？目的是什么？ 1 量纲不一样的情况是什么？ 比如一个2分类任务，预测一批零件是合格品还是
阅读全文
摘要：关于标准化（standardization） 数据标准化能将原来的数据进行重新调整（一般也称为 z-score 规范化方法），以便他们具有标准正态分布的属性，即 μ=0 和 σ=1。其中，μ 表示平均值，σ 表示标准方差。数据标准化之后的形式可以按照如下公式进行计算： 如果我们是比较两个不同大小维度
阅读全文
摘要：#数据标准化#StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布)#标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下#常用与基于正态分布的算法，比如回归 #数据归一化#MinMaxScaler （区间缩放，基于最大最小值，将数据
阅读全文
摘要：案例： from sklearn import treefrom IPython.display import Imageimport pydotplusdot_data = tree.export_graphviz(model, out_file=None, filled=True, rounde
阅读全文
摘要：前面的博客里有提到决策树，我们也了解了决策树的构建过程，如果可以可视化决策树，把决策树打印出来，对我们理解决策树的构建会有很大的帮助。这篇文章中，我们就来看下如何可视化输出一棵决策树。 一、安装相应的插件 我们需要安装Graphviz和pygraphviz，教程，这个教程里有详细的安装过程，这里就不
阅读全文
摘要：尽管近年来神经网络复兴并大为流行，但是 boosting 算法在训练样本量有限、所需训练时间较短、缺乏调参知识等场景依然有其不可或缺的优势。本文从算法结构差异、每个算法的分类变量时的处理、算法在数据集上的实现等多个方面对 3 种代表性的 boosting 算法 CatBoost、Light GBM
阅读全文
摘要：写在前面 Ensemble methods 组合模型的方式大致为四个：/bagging / boosting / voting / stacking ，此文主要简单叙述 bagging算法。 算法主要特点 Bagging: 平行合奏：每个模型独立构建 旨在减少方差，而不是偏差 适用于高方差低偏差模型
阅读全文
摘要：关于数据预处理的几个概念 归一化 (Normalization)： 属性缩放到一个指定的最大和最小值（通常是1-0）之间，这可以通过preprocessing.MinMaxScaler类实现。 常用的最小最大规范化方法(x-min(x))/(max(x)-min(x)) 除了上述介绍的方法之外，另一
阅读全文
摘要：http://liao.cpython.org/pandas15/ Docs » Pandas的Categorical Data类型 15. Pandas的Categorical Data pandas从0.15版开始提供分类数据类型，用于表示统计学里有限且唯一性数据集，例如描述个人信息的性别一般就
阅读全文
摘要：梯度下降法（Gradient Descent） 优化思想：用当前位置的负梯度方向作为搜索方向，亦即为当前位置下降最快的方向，也称“最速下降法”。越接近目标值时，步长越小，下降越慢。 如下图所示，梯度下降不一定能找到全局最优解，可能寻找到的是局部最优解。（当损失函数是凸函数时，梯度下降得到的解一定是全
阅读全文
摘要：实现：# -*- coding: UTF-8 -*- import numpy as npfrom sklearn.linear_model import SGDRegressor__author__ = 'zhen'X = 2 * np.random.rand(100, 1)y = 4 + 3 *
阅读全文
摘要：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_21904665/article/details/52315642 ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型，比如:cl
阅读全文
摘要：<!-- flowchart 箭头图标 勿删 --> 语法： ElasticNet(self, alpha=1.0, l1_ratio=0.5, fit_intercept=True, normalize=False, precompute=False, max_iter=1000, copy_X=
阅读全文
摘要：<!-- flowchart 箭头图标 勿删 --> 目标函数 Lasso相当于带有L1正则化项的线性回归。先看下目标函数：RSS(w)+λ∥w∥1=∑Ni=0(yi−∑Dj=0wjhj(xi))2+λ∑Dj=0∣wj∣RSS(w)+λ∥w∥1=∑i=0N(yi−∑j=0Dwjhj(xi))2+λ∑
阅读全文
摘要：http://www.cnblogs.com/pinard/p/6018889.html 本文将用一个例子来讲述怎么用scikit-learn和pandas来学习Ridge回归。 1. Ridge回归的损失函数 在我的另外一遍讲线性回归的文章中，对Ridge回归做了一些介绍，以及什么时候适合用 Ri
阅读全文
摘要：from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.model_selection import GridSearchCV from sklearn.metric
阅读全文
摘要：一、GridSearchCV介绍： 自动调参，适合小数据集。相当于写一堆循环，自己设定参数列表，一个一个试，找到最合适的参数。数据量大可以使用快速调优的方法 坐标下降【贪心，拿当前对模型影响最大的参数调优，直到最优，但可能获得的是全局最优】。 二、参数使用 class sklearn.model_s
阅读全文
