JavaScript 中的深度学习

• JS-PyTorch 是一个JavaScript库，从头开始构建，以紧密跟随PyTorch的语法。
• 它以一种文档完备、单元测试和可解释的方式实现，因此可以帮助其他JavaScript学习者进入机器学习！
• 欢迎尝试 Web 演示！

（本文视频讲解：java567.com）

1. 简介

• src/tensor.ts 包含一个完全功能的张量（Tensor）对象，可以跟踪梯度。
• src/layers.ts 包含许多深度学习层和函数。

注意： 项目的 README 包含所有可用操作和层的详细信息。

2. 自己运行

安装和导入

首先，您可以在终端上运行 npm install js-pytorch 来在本地安装该包。
然后，在您的 JavaScript 文件中，使用以下命令导入该包：

const torch = require("js-pytorch");

创建张量

为了使用所有这些酷炫的深度学习张量操作，我们需要实例化一些张量：

// 实例化张量：
let x = torch.randn([8,4,5]);
let w = torch.randn([8,5,4], requires_grad = true);
let b = torch.tensor([0.2, 0.5, 0.1, 0.0], requires_grad = true);

语法与PyTorch相同：

• torch.tensor(Array) 接收一个数组并将其转换为张量。
• torch.randn(shape) 创建一个填充有正态分布随机数的张量，形状由提供的参数确定。
• 如果我们要优化此参数（跟踪其梯度），则将 requires_grad 参数设置为 true。

张量操作

现在，让我们对这些张量运行一些操作：

// 进行计算：
let out = torch.matmul(x, w);
out = torch.add(out, b);

• torch.matmul(x, w) 在 x 和 w 之间执行矩阵乘法（就像在PyTorch中一样）。
• torch.add(out, b) 将两个张量相加。

注意： 由于 w 的 require_grad 设置为 true，其子级 out 也将跟踪其梯度。

获取梯度

// 计算整个图的梯度：
out.backward();

// 从特定张量获取梯度：
console.log(w.grad);
console.log(b.grad);

• 调用 out.backward() 计算导致它的每个张量（其父级）相对于 out 的梯度。
• 在实际中，我们将在 loss 张量上调用 .backward()，以获取减少其所需的梯度。
• 要访问张量的梯度，只需调用 Tensor.grad。

3. 完整示例（神经网络）：

在这个示例中，我们实现了一个完整的神经网络，包括三个线性层和ReLU激活函数。nn.Module 类的语法与 PyTorch 完全相同。

const torch = require("js-pytorch");
const nn = torch.nn;
const optim = torch.optim;

// 实现 Module 类：
class NeuralNet extends nn.Module {
  constructor(in_size, hidden_size, out_size) {
    super();
    // 实例化神经网络的层：
    this.w1 = new nn.Linear(in_size, hidden_size);
    this.relu1 = new nn.ReLU();
    this.w2 = new nn.Linear(hidden_size, hidden_size);
    this.relu2 = new nn.ReLU();
    this.w3 = new nn.Linear(hidden_size, out_size);
  };

  forward(x) {
    let z;
    z = this.w1.forward(x);
    z = this.relu1.forward(z);
    z = this.w2.forward(z);
    z = this.relu2.forward(z);
    z = this.w3.forward(z);
    return z;
  };
};

// 实例化模型：
let in_size = 16;
let hidden_size = 32;
let out_size = 10;
let batch_size = 16;

let model = new NeuralNet(in_size, hidden_size, out_size);

// 定义损失函数和优化器：
let loss_func = new nn.CrossEntropyLoss();
let optimizer = new optim.Adam(model.parameters(), 3e-3);

// 实例化输入和输出：
let x = torch.randn([batch_size, in_size]);
let y = torch.randint(0, out_size, [batch_size]);
let loss;

// 训练循环：
for (let i = 0; i < 256; i++) {
  let z = model.forward(x);

  // 获取损失：
  loss = loss_func.forward(z, y);

  // 使用 torch.tensor 的 backward() 方法反向传播损失：
  loss.backward();

  // 更新权重：
  optimizer.step();

  // 在每个训练步骤后将梯度重置为零：
  optimizer.zero_grad();

  // 打印当前损失：
  console.log(`Iter: ${i} - Loss: ${loss.data}`);
}

4. 构建以进行分发和开发工具

• 要进行分发构建，请运行 npm run build。CJS 和 ESM 模块以及 index.d.ts 将输出到 dist/ 文件夹中。
• 要随时使用 ESLint 检查代码，请运行 npm run lint。
• 要使用 prettier 改进代码格式，请运行 npm run prettier。

5. 结论

• 希望您喜欢这个包！
• 新的添加，例如GPU支持，即将推出。

（本文视频讲解：java567.com）