Hisi - 博客园

2022年10月

摘要：什么是梯度向量在定义域为n维的空间中，给定一个函数

F : R^{n} \to R

$F: R^n \rightarrow R$ ，梯度向量这个向量为n-1维的向量，代表着函数

F

$F$ 在某一点

p

$p$ ，

p

$p$ 应该往哪个方向走，使得函数

F

$F$ 的增长最快。即，那个方向，函数

F

$F$ 的定义域内，从点

p

$p$ 出发的那个向量，为梯度。 the vec 阅读全文

posted @ 2022-10-20 22:26 Hisi 阅读(2390) 评论(0) 推荐(0) 编辑

用一个例子理解拉格朗日乘数法解决等式约束优化问题

摘要：首先我们来看看一个实例：

\begin{aligned} m i n & f (x, y) & = x^{2} + y^{2} & s . t . & x y & = 3 \end{aligned}

$\begin{aligned} &min &f(x,y)&=x^2+y^2\ &s.t. &xy&=3 \end{aligned}$ 即：在定义域

x y = 3

$xy=3$ 内，求

f (x, y)

$f(x,y)$ 的最小值。两个函数的图像如下：

z = x^{2} + y^{2}

$z=x^2+y^2$

x y = 3

$xy=3$ 让我们把两个阅读全文

posted @ 2022-10-03 09:41 Hisi 阅读(677) 评论(0) 推荐(0) 编辑

用实例并可视化去理解拉格朗日对偶函数的凹性质

摘要：考虑约束最优化问题：

\begin{aligned} m i n & f (x) & s . t . & c_{i} (x) \leq 0, i = 1, 2, . . ., l, & h_{i} (x) = 0, i = l + 1, l + 2, . . ., n \end{aligned}

$\begin{aligned} &min &&f(x) \ &s.t. &&c_i(x)\leq 0, i=1,2,...,l,\ &&&h_i(x) = 0,i=l+1,l+2,...,n \end{aligned}$ 拉格朗日化后为： $$ \begin{alig 阅读全文

posted @ 2022-10-03 09:06 Hisi 阅读(197) 评论(0) 推荐(0) 编辑

2022年9月

联立方程组的妙处（为什么要联立方程组）

摘要：假设有以下方程组：

\begin{aligned} x y & = 3, y & = x \end{aligned}

$\begin{aligned} xy&=3,\ y&=x \end{aligned}$ 他们的图像如下：如果我们要找到同时满足两个等式的点，该怎么做呢？也许会想到联立方程组，但是为什么联立呢？或许在我说之前，还想不到要联立。我们知道，满足式

x y = 3

$xy=3$ 的点都在上图阅读全文

posted @ 2022-09-26 20:46 Hisi 阅读(841) 评论(0) 推荐(0) 编辑

SVM公式详尽推导，没有思维跳跃。

摘要：假定数据集

T = (x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{n}, y_{n}) ， x_{n} \in R_{k}, y_{n} \in 1, - 1

$T={(x_1,y_1),(x_2,y_2),...,(x_n,y_n)}，x_n \in R_k, y_n \in {1,-1}$ 线性可分,SVM的优化目标是：优化一个超平面的参数，使得这个超平面，能够正确划分两类数据，并且，距离（动词），两类数据最近的那个点，的距离最大。 tip: 阅读全文

posted @ 2022-09-24 23:14 Hisi 阅读(668) 评论(0) 推荐(0) 编辑

高维空间中，点的超平面的距离

摘要：首先来看看三维的：如下图所示，在三维空间中，假设平面

U = x \in R^{3} | 0 = W^{T} \cdot x + b, b \in R, W \in R^{2}

$U={x \in R^3|0=W^T·x+b, b \in R, W \in R^2}$ ,

W

$W$ 为

U

$U$ 的法向量；平面外一点

X

$X$ ，

U

$U$ 内一点

X^{'}

$X'$ ,那么

X

$X$ 到

U

$U$ 的距离为： $$ \begin{aligned} L &= |X-X'| 阅读全文

posted @ 2022-09-24 11:23 Hisi 阅读(192) 评论(0) 推荐(0) 编辑

向量内积和向量点积的关系及点积的几何意义。

摘要：以二维为例子：首先，向量内积的定义为：

\begin{matrix} (1.1) & a \cdot b = | a | | b | c o s θ \end{matrix}

$a·b = |a||b|cos\theta \tag{1.1}\label{1.1}$ 其中，

a = (a_{1}, a_{2}) b = (b_{1}, b_{2})

$a = (a_1,a_2)\ b = (b_1,b_2)$ 根据余弦定理： $$ cos\theta = \frac{|b|^2+|a|^2- 阅读全文

posted @ 2022-09-23 10:19 Hisi 阅读(837) 评论(0) 推荐(0) 编辑

超平面详解

摘要：参考文献 [1] https://blog.csdn.net/denghecsdn/article/details/77313758 以下是我阅读其之后的一些总结。超平面的定义 n 维空间中的超平面由下面的方程确定[1]:

w^{T} x + b = 0

$w^Tx+b=0$ 其中， $$ \begin{aligned} 阅读全文

posted @ 2022-09-23 08:49 Hisi 阅读(440) 评论(0) 推荐(0) 编辑

self-attention为什么要除以根号d_k

摘要：参考文章： https://blog.csdn.net/tailonh/article/details/120544719 正如上文所说，原因之一在于： 1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0； 2、选择根号d_k是因为可以使得q*k的结果满足期望为0，方差为1的分阅读全文

posted @ 2022-09-20 08:40 Hisi 阅读(4860) 评论(0) 推荐(0) 编辑

数学期望和方差的定义和一些性质

摘要：数学期望的定义：离散型：

E (X) = \sum_{i = - \infty}^{+ \infty} p_{i} x_{i}

$E(X) = \sum_{i=-\infty}^{+\infty}p_ix_i$ 连续型：

E (X) = \int_{- \infty}^{+ \infty} f (x) x d x

$E(X)=\int^{+\infty}_{-\infty}{f(x)xdx}$ 其中，

f (x)

$f(x)$ 为概率密度函数。连续型的表达式可以由离散型的表达式推导得到：阅读全文

posted @ 2022-09-19 22:09 Hisi 阅读(1366) 评论(0) 推荐(0) 编辑

公告

昵称： Hisi
园龄： 3年1个月
粉丝： 0
关注： 0

+加关注

2025年3月

日

一

二

三

四

五

六

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

推荐排行榜