01 2021 档案
摘要：点到面距离拓展: 欧式空间超平面 梯度下降法： 随机梯度下降法： 最大似然估计法： 分类: 感知机丶支持向量机和逻辑回归 感知机算法: 支持向量机：间隔最大化 支持向量机：样本损失函数 优化目标 sklearn 分类模块
阅读全文
摘要：六类结构化数据的治理方法 1. 基础数据治理 基础数据用于对其他数据进行分类，在业界也称作参考数据。基础数据通常是静态的（如国家、币种），一般在业务事件发生之前就已经预先定义。它的可选值数量有限，可以用作业务或 IT 的开关和判断条件。当基础数据的取值发生变化的时候，通常需要对流程和 IT 系统进行
阅读全文
摘要：一丶矩阵的逆 求逆矩阵的工具 什么是回归？ 回归模型当中 一元线性回归 一元回归求解 （求导） 多元线性回归 线性回归问题解决 过度拟合问题: 多重共线性 正则化 减小线性回归的过度拟合和多重共线性等问题。（加参数） 岭回归 LASSO 模型 岭回归与LASSO回归 比较 回归模型的评价指标
阅读全文
摘要：一丶大数据分析和人工智能已经成为整个社会发展最主要的基础推动力，两者的基础都是机器学习。 大数据分析火热的深刻原因： 数据源：非结构化数据（语音，视频，文本，网络数据） 一般都是表格数据。 模型和计算能力：深度学习（模型显示），GPU（加快深度学习的训练），分布式系统（提高训练的能力，水平）。 广泛
阅读全文
摘要：鉴于单向循环神经网络某些情况下的不足，提出了双向循环神经网络。因为是需要能关联未来的数据，而单向循环神经网络属于关联历史数据，所以对于未来数据提出反向循环神经网络，两个方向的网络结合到一起就能关联历史与未来了。 双向循环神经网络按时刻展开的结构如下，可以看到向前和向后层共同连接着输出层，其中包含了6
阅读全文
摘要：实验原理： RNN的网络结构及原理 RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单元(Hidden units)，
阅读全文
摘要：华为数据分类管理框架（基于特征分类） 华为根据数据特性及治理方法的不同对数据进行了分类定义：内部数据和外部数据、结构化数据和非结构化数据、元数据。其中，结构化数据又进一步划分为基础数据、主数据、事务数据、报告数据、观测数据和规则数据。 不同分类的数据，其治理方法有所不同。如基础数据内容的变更通常会对
阅读全文
摘要：回归问题： 连续值预测: Machine Learning ：机器学习 1.给定X（输入的数据） 经过模型的结构f和参数 Θ 能够给出一个响应 前面愈趋紧y 越准确 现实当中会有噪声 添加一个变量表示 解决噪声：添加样本量 加大样本量削减误差 2.
阅读全文
摘要：实验原理： 多层感知机是由感知机推广而来，感知机学习算法(PLA: Perceptron Learning Algorithm)用神经元的结构进行描述的话就是一个单独的。 感知机（PLA）的神经网络表示如下： 从上述内容更可以看出，PLA是一个线性的二分类器，但不能对非线性的数据进行有效的分类。因此
阅读全文
摘要：实验原理： knn的基本原理： KNN是通过计算不同特征值之间的距离进行分类。 整体的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在分类决策
阅读全文
摘要：实验原理： 逻辑回归可以看作只有一层网络的前向神经网络，并且参数连接的权重只是一个值，而非矩阵。公式为：y_predict=logistic(X*W+b)，其中X为输入，W为输入与隐含层之间的权重，b为隐含层神经元的偏置，而logistic为激活函数，一般为sigmoid或者tanh，y_predi
阅读全文
摘要：实验原理： 线性回归是用来度量变量间关系的统计技术。该算法的实现并不复杂，但可以适用于很多情形。正是因为这些原因，以线性回归作为开始学习TensorFlow的开始。 不管在两个变量（简单回归）或多个变量（多元回归）情形下，线性回归都是对一个依赖变量，多个独立变量xi，一个随机值b间的关系建模。利用T
阅读全文
摘要：运行代码 1. import tensorflow as tf tf.compat.v1.disable_eager_execution() #保证sess.run()能够正常运行 import os os.environ["CUDA_VISIBLE_DEVICES"]="0" a=tf.const
阅读全文
摘要：华为数据治理实践 2017 年华为提出了企业的新愿景：“把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界”。同时， 华为公司董事、CIO 陶景文提出了“实现全联接的智能华为，成为行业标杆”的数字化转型目标. 随后，华为基于愿景确定了数字化转型的蓝图和框架， 统一规划、分层次开展，最终
阅读全文
