kaldi通用底层矩阵运算库——CBLAS
matrix/cblas-wrappers.h
该头文件对CBLAS与CLAPACK的接口进行了简单的封装（将不同数据类型的多个接口封装为一个）。
比如
cblas_scopy和cblas_dcopy封装为cblas_Xcopy
clapack_sgetri和clapack_dgetri封装为clapack_Xgetri
上述接口的声明位于matrix/kaldi-blas.h中
tools/ATLAS_headers/include/clapack.h
matrix/kaldi-blas.h
该头文件根据不同的实现（ATLAS、CLAPACK、MKL、OPENBLAS）处理BLAS、LAPACK等的#include。
matrix/kaldi-vector.h
该头文件声明了几个Kaldi向量类，其运算的实现基于CBLAS和CLAPACK，具体依赖的库可以是：
- ATLAS
- CLAPACK
- MKL
- OPENBLAS
class VectorBase
向量抽象类。该类对基础运算与内存优化进行了封装，只提供向量运算。不涉及尺寸缩放和构造函数。
尺寸缩放和构造函数由派生类Vector和SubVector负责。
向量初始化
void SetZero();
向量信息
bool IsZero(Real cutoff = 1.0e-06) const;
inline MatrixIndexT Dim() const { return dim_; }
向量的读取与转换
inline Real* Data() { return data_; }
inline Real operator() (MatrixIndexT i) const
SubVector<Real> Range(const MatrixIndexT o, const MatrixIndexT l)
向量的拷贝函数
void CopyFromVec(const VectorBase<Real> &v);
void CopyFromPacked(const PackedMatrix<OtherReal> &M);
向量的运算
void ApplyLog();
void AddVec(const Real alpha, const VectorBase<OtherReal> &v);
IO
void Read(std::istream & in, bool binary, bool add = false);
void Write(std::ostream &Out, bool binary) const;
class Vector
该类表示普通Kaldi向量，并实现尺寸缩放和一般的构造函数。
多种构造函数
Vector(): VectorBase<Real>() {}
explicit Vector(const MatrixIndexT s,
MatrixResizeType resize_type = kSetZero)
: VectorBase<Real>() { Resize(s, resize_type); }
template<typename OtherReal>
explicit Vector(const CuVectorBase<OtherReal> &cu);
重载赋值运算符
Vector<Real> &operator = (const Vector<Real> &other) {
Resize(other.Dim(), kUndefined);
this->CopyFromVec(other);
return *this;
}
Vector<Real> &operator = (const VectorBase<Real> &other) {
Resize(other.Dim(), kUndefined);
this->CopyFromVec(other);
return *this;
}
Utils
void Swap(Vector<Real> *other);
void Resize(MatrixIndexT length, MatrixResizeType resize_type = kSetZero);
void RemoveElement(MatrixIndexT i);
SubVector
该类表示一个不占有实际数据的泛化向量或向量索引，可以表示高级向量的子向量或矩阵的行。实现多种用于索引的构造函数。
多种构造函数
SubVector(const VectorBase<Real> &t, const MatrixIndexT origin,
const MatrixIndexT length) : VectorBase<Real>()
SubVector(const PackedMatrix<Real> &M)
SubVector(const SubVector &other) : VectorBase<Real> ()
matrix/kaldi-matrix.h
该头文件声明了几个Kaldi矩阵类，其运算的实现基于CBLAS和CLAPACK，具体依赖的库可以是：
- ATLAS
- CLAPACK
- MKL
- OPENBLAS
class MatrixBase
矩阵抽象类。该类对基础运算与内存优化进行了封装，只提供矩阵运算。不涉及尺寸缩放和构造函数。
尺寸缩放和构造函数由派生类Matrix和SubMatrix负责。
矩阵信息
inline MatrixIndexT NumRows() const { return num_rows_; }、
inline MatrixIndexT Stride() const { return stride_; }
向量的读取与转换
inline const Real* Data() const
inline Real* Data() { return data_; }
inline Real* RowData(MatrixIndexT i)
矩阵的初始化
void SetZero();
void Set(Real);
矩阵的拷贝函数
void CopyFromMat(const MatrixBase<OtherReal> & M,
MatrixTransposeType trans = kNoTrans);
void CopyFromMat(const CompressedMatrix &M);
矩阵运算
若向量维数等于矩阵维数，则将其看作是对矩阵逐行拼接得到的向量
若向量维数等于矩阵列数，则将*this的所有行都设定为v
v.Dim() == NumRows() * NumCols(),
void CopyRowsFromVec(const VectorBase<Real> &v);
与CopyRowsFromVec类似，只不过矩阵为列序
void CopyColsFromVec(const VectorBase<Real> &v);
*this矩阵为方阵，且维数等于v的维数；将*this的对角向量设定为v
void CopyDiagFromVec(const VectorBase<Real> &v);
矩阵所有元素之和
Real Sum() const;
矩阵的迹
Real Trace(bool check_square = true) const;
*this与A的元素级相乘
void MulElements(const MatrixBase<Real> &A);
*this/A，元素级相除
void DivElements(const MatrixBase<Real> &A);
alpha* *this，缩放*this的所有元素
void Scale(Real alpha);
(*this) = (*this) * diag(scale)
*this为列序，for i: *this[i][j]*=scale[j]
void MulColsVec(const VectorBase<Real> &scale);
(*this) = diag(scale) * (*this)
*this为行序，for j: *this[i][j]*=scale[i]
void MulRowsVec(const VectorBase<Real> &scale);
矩阵的逆
void Invert(Real *log_det = NULL, Real *det_sign = NULL,
bool inverse_needed = true);
矩阵的转置，只适用于方阵，Matrix才支持普通矩阵
void Transpose();
对矩阵所有元素进行floor()运算
void ApplyFloor(Real floor_val);
对矩阵所有元素进行ceil()运算
void ApplyCeiling(Real ceiling_val);
对矩阵所有元素进行log()运算
void ApplyLog();
对矩阵所有元素进行exp()运算
void ApplyExp();
对矩阵所有元素进行pow()运算
void ApplyPow(Real power);
对矩阵所有元素进行sigmoid()运算
void Sigmoid(const MatrixBase<Real> &src);
对矩阵所有元素进行tanh()运算
void Tanh(const MatrixBase<Real> &src);
梯度从sigmoid激励传播到sigmoid激活
*this = diff * value * (1.0 - value)
void DiffSigmoid(const MatrixBase<Real> &value,
const MatrixBase<Real> &diff);
梯度从tanh激励传播到tanh激活
*this = diff * (1.0 - value^2).
void DiffTanh(const MatrixBase<Real> &value,
const MatrixBase<Real> &diff);
*this += alpha * M
void AddMat(const Real alpha, const MatrixBase<Real> &M,
MatrixTransposeType transA = kNoTrans);
*this = alpha A B + beta * *this
若transA == kNoTrans，则
*this的行数=A的行数
若transA == kTrans，则A=A^T
*this的行数=A的列数
若transB == kNoTrans，则
*this的列数=B的列数
若transB == kTrans，则B=B^T
*this的列数=B的行数
void AddMatMat(const Real alpha,
const MatrixBase<Real>& A, MatrixTransposeType transA,
const MatrixBase<Real>& B, MatrixTransposeType transB,
const Real beta);
*this = beta* *this + alpha*A*B*C.
void AddMatMatMat(const Real alpha,
const MatrixBase<Real>& A, MatrixTransposeType transA,
const MatrixBase<Real>& B, MatrixTransposeType transB,
const MatrixBase<Real>& C, MatrixTransposeType transC,
const Real beta);
class Matrix
该类表示普通Kaldi矩阵，并实现尺寸缩放和一般的构造函数。
多种构造函数
Matrix(const MatrixIndexT r, const MatrixIndexT c,
MatrixResizeType resize_type = kSetZero,
MatrixStrideType stride_type = kDefaultStride):
MatrixBase<Real>() { Resize(r, c, resize_type, stride_type); }
explicit Matrix(const CuMatrixBase<OtherReal> &cu,
MatrixTransposeType trans = kNoTrans);
重载赋值运算符
Matrix<Real> &operator = (const MatrixBase<Real> &other) {
if (MatrixBase<Real>::NumRows() != other.NumRows() ||
MatrixBase<Real>::NumCols() != other.NumCols())
Resize(other.NumRows(), other.NumCols(), kUndefined);
MatrixBase<Real>::CopyFromMat(other);
return *this;
}
Matrix<Real> &operator = (const Matrix<Real> &other) {
if (MatrixBase<Real>::NumRows() != other.NumRows() ||
MatrixBase<Real>::NumCols() != other.NumCols())
Resize(other.NumRows(), other.NumCols(), kUndefined);
MatrixBase<Real>::CopyFromMat(other);
return *this;
Utils
void Swap(Matrix<Real> *other);
void RemoveRow(MatrixIndexT i);
void Resize(const MatrixIndexT r,
const MatrixIndexT c,
MatrixResizeType resize_type = kSetZero,
MatrixStrideType stride_type = kDefaultStride);
class SubMatrix
该类表示一个不占有实际数据的泛化矩阵或矩阵索引，可以表示其他矩阵的矩阵。实现多种用于索引的构造函数。
继承于MatrixBase，用于对矩阵的子矩阵（块矩阵）进行运算。
template<typename Real> class SubMatrix : public MatrixBase<Real> { public: 多种构造函数 // 将矩阵的一部分初始化为一个SubMatrix，这都点类似于Matlab中的A(b:c, d:e)。 SubMatrix(const MatrixBase<Real>& T, const MatrixIndexT ro, // row offset, 0 < ro < NumRows() const MatrixIndexT r, // number of rows, r > 0 const MatrixIndexT co, // column offset, 0 < co < NumCols() const MatrixIndexT c); // number of columns, c > 0
// This initializer is mostly intended for use in CuMatrix and related // classes. Be careful! SubMatrix(Real *data, MatrixIndexT num_rows, MatrixIndexT num_cols, MatrixIndexT stride);
~SubMatrix<Real>() {}
/// This type of constructor is needed for Range() to work [in Matrix base /// class]. Cannot make it explicit. SubMatrix<Real> (const SubMatrix &other): MatrixBase<Real> (other.data_, other.num_cols_, other.num_rows_, other.stride_) {}
private: /// Disallow assignment. SubMatrix<Real> &operator = (const SubMatrix<Real> &other); }; |
