学习笔记258—张量的背景
张量的背景
张量,是向量与矩阵的推广(这里与黎曼几何里的张量有区别)。向量可以看做是一阶张量,矩阵是二阶张量。张量的阶数某种意义上代表着数据的“丰富程度”,一个矩阵代表了二维信息,一个三阶张量往往蕴含着三维的空间信息。
为什么要用张量这种新的数学工具?矩阵计算难道还不够用吗?在回答这两个问题之前,我们先回顾下当前计算机处理问题的方式。那就是,数据往往以矩阵的方式出现。比如一张用户-商品表可以表征为用户-商品矩阵。一张灰度图也可以用矩阵表示,信息在计算机里的存储以及表示方式都是矩阵的形式,后续的建模跟计算毫无疑问都是基于矩阵。换而言之,计算机处理数学问题基本上是在数值代数(矩阵计算,方程的数值解)的框架下进行的。但是,有的时候我们获取的数据并不是天然的就具有“矩阵”这类形式,比如,RGB图像它是一个三维数组。用户-商品表也往往不是单独出现,因为社交媒体的存在,真正的那张表应该是用户-用户-商品这个三维数组,类似的例子还有很多。那么,问题来了:是否可以建立如同矩阵计算(分解)那样的底层运算,为当前的数据形式(多维数组)提供更有内蕴的计算框架跟工具?
为了回答以上问题,张量计算与分解应运而生。
张量的定义跟基本运算
张量就是一个多维数组,它的元素可以被一个多重指标索引。下图是一个三阶张量
张量的模式坍缩(unfolding)
张量可以在某个阶上坍缩(unfolding)成一个矩阵,这里取名为张量的模式坍缩(取自量子力学的波函数坍缩这个词)。比如一个7×8×9的张量,它可以沿着第二阶坍缩成一个8×63的矩阵,也可以沿着第一阶坍缩成一个7×72的矩阵。“横看成岭侧成峰”,张量的模式坍缩可以从矩阵角度观察张量的潜在数据结构,并且张量的模式坍缩使我们可以回到一个“舒适”的位置,因为我们对矩阵已经非常熟悉。张量的模式坍缩类似于“降维打击”(三体里二向箔把太阳系拍成一个二维平面)。从高维到低维,当然丢失了信息,从低维看高维,也会看不清楚一些本质的东西,但是很多个来源于同一个高维母体(原始张量)的低维结构(不同的模式坍缩矩阵),却潜在保留了高维数据的结构信息。
![](https://img2022.cnblogs.com/blog/1457852/202205/1457852-20220524221952127-1837541732.png)
张量与矩阵的模式乘积
为了使高维张量与张量模式坍缩后的矩阵能够发生某种相互作用,我们需要定义一些新的运算,这些运算当然是要自恰(就如同相对论之于牛顿力学,在物质运动速度远小于光速时,相对论退化成牛顿力学)。给定张量
和矩阵
张量与矩阵的模式乘积的结果是一个这样子
的一个张量,它的具体运算如下
基于这个定义,高维世界跟低维世界就可以愉快的”玩耍“了。
张量的范数
给定一个集合,我们适当的定义一些概念在这个集合上,就”堂而皇之“的可以叫它为XX空间了。没有距离概念的叫拓扑空间,引入内积再由内积诱导范数从而可以定义一个距离空间。为了之后更愉快的探索一些张量的其他问题,如各种张量分解(CP,Tucker,TT),张量填充(tensor completion,本质上是求解一个核范数极小的优化问题)等等,我们需要引入范数这个强有力的工具。
张量空间里内积定义:
张量的范数由内积诱导
秩一张量(rank-one tensor)
这里先给出秩一张量的概念,因为后面的张量分解(tensor decomposition)需要反复提及这个秩概念。(张量的秩留待后续介绍)
秩一张量如同量子力学里的量子一样鬼魅。它鬼魅在:张量一般的低秩(秩大于1)逼近有可能并不存在【1】,即便存在也有可能找不到(优化手段找不到全局最优)。但秩一逼近却存在,并且使用一般的手段(high order power method)就能找到最优解。
参考文献
【1】Kolda, Tamara G., and Brett W. Bader. "Tensor decompositions and applications." SIAM review 51.3 (2009): 455-500.
原文链接:https://blog.csdn.net/weixin_30356433/article/details/112701061