受限玻尔兹曼机及实现

Energy-Based Models(EBM)

　　基于能量的概率模型将一个标量能量与相关变量的每个配置相关联。学习相当于修改能量函数，能量达到最佳性质 。例如，我们希望合理的或理想的结构具有低能量。基于能量的概率模型通过能量函数定义概率分布，如下:

 

 Z是正则化系数,也叫做配分函数:

 

基于能量的模型可以通过对训练数据的经验负对数似然进行(随机)梯度下降来学习。对于逻辑回归，我们首先将对数似然定义为负对数似然，然后将损失函数定义为负对数似然。

 

$\theta$是模型的参数,使用随机梯度下降可以对损失函数进行优化:$\frac{\partial logp(x^{(i)})}{\partial \theta}$

 

# 实现受限玻尔兹曼机，暂仅考虑可视层、隐藏神经元取值均为二进制的情况
import numpy as np
import os


def sigmoid(z):
    return 1 / (1 + np.exp(-z))


class RBM:
    def __init__(self, n_visible, n_hidden):
        self.n_visible = n_visible #可见层节点数量
        self.n_hidden = n_hidden #隐藏层节点数量
        self.bias_a = np.zeros(self.n_visible)  #可视层偏移量
        self.bias_b = np.zeros(self.n_hidden)  #隐藏层偏移量
        self.weights = np.random.normal(0, 0.01, size=(self.n_visible, self.n_hidden))
        self.n_sample = None

     # 编码，即基于v计算h的条件概率：p(h=1|v)
    def encode(self, v):
        return sigmoid(self.bias_b + v @ self.weights)

     # 解码(重构)：即基于h计算v的条件概率：p(v=1|h)
    def decode(self, h):
        return sigmoid(self.bias_a + h @ self.weights.T)

    # gibbs采样, 返回max_cd采样后的v以及h值
    def gibbs_sample(self, v0, max_cd):       
        v = v0
        for _ in range(max_cd):
            # 首先根据输入样本对每个隐藏层神经元采样。二项分布采样，决定神经元是否激活
            ph = self.encode(v)
            h = np.random.binomial(1, ph, (self.n_sample, self.n_hidden))
            # 根据采样后隐藏层神经元取值对每个可视层神经元采样
            pv = self.decode(h)
            # print(h)
            # print(pv)
            # print(max_cd)
            # os.system("pause")
            v = np.random.binomial(1, pv, (self.n_sample, self.n_visible))
        return v

    # 根据Gibbs采样得到的可视层取值(解码或重构)，更新参数
    def update(self, v0, v_cd, eta):
        # print(v0)
        # os.system("pause")
        ph = self.encode(v0)
        ph_cd = self.encode(v_cd)
        # print(v0.T)
        # print(ph)
        # os.system("pause")
        self.weights += eta * (v0.T @ ph - v_cd.T @ ph)  # 更新连接权重参数
        self.bias_b += eta * np.mean(ph - ph_cd, axis=0)  # 更新隐藏层偏移量b
        self.bias_a += eta * np.mean(v0 - v_cd, axis=0)  # 更新可视层偏移量a
        return


    """
        训练主函数,采用对比散度算法(CD算法)更新参数
        :param data: 训练数据集, (n_sample, n_input)
        :param max_step: 最大迭代步数
        :param max_cd: 采样步数
        :param eta: 学习率
        :return:
    """
    def fit(self, data, max_step=100, max_cd=2, eta=0.1):
        assert data.shape[1] == self.n_visible, "输入数据维度与可视层神经元数目不相等"
        self.n_sample = data.shape[0]
        for i in range(max_step):
            #v_cd 是反采样后的输入样本
            v_cd = self.gibbs_sample(data, max_cd)
            self.update(data, v_cd, eta)
            error = np.sum((data - v_cd) ** 2) / self.n_sample / self.n_visible * 100
            if not i % 100:  # 将重构后的样本与原始样本对比计算误差
                print("可视层状态误差比例:{0}%".format(round(error, 2)))
        return



    def predict(self, v):
        # 输入训练数据，预测隐藏层输出
        ph = self.encode(v)[0]
        states = ph >= np.random.rand(len(ph))
        return states.astype(int)


if __name__ == '__main__':
    rbm_model = RBM(n_visible=6, n_hidden=2)
    train_data = np.array([[1, 1, 1, 0, 0, 0], [1, 0, 1, 0, 0, 0], [1, 1, 1, 0, 0, 0],
                           [0, 0, 1, 1, 1, 0], [0, 0, 1, 1, 0, 0], [0, 0, 1, 1, 1, 0]]) 
    rbm_model.fit(train_data, max_step=1000, max_cd=1, eta=0.1)
    print(rbm_model.weights, rbm_model.bias_a, rbm_model.bias_b)
    user = np.array([[0, 0, 0, 1, 1, 0]])
    print(rbm_model.predict(user))
"""
该数据的含义：
每个样本对应一个用户对6部电影的评分，简化为0(不好看)和1(好看)，
6部电影分别属于奥斯卡获奖影片和奇幻影片，对应两个潜在因子，即2个隐藏层神经元，
据此可以判定用户的电影喜好类别。
"""