摘要：
前言 当时老师要求我做 transformer 和 self-attention 的 ppt，结果当时在训练 ACM 没大有时间，就弄了个质量不高的，不出意外的被喷了。。。现在回头看看当时做的整体没有大问题，但是由于知识没有连贯起来导致有些地方没有提到，也没有形成一个比较完整的架构。 Transfo 阅读全文
摘要：
在 slot-filling 问题（如给一个句子，自己分析出时间、地点等） 能解决的问题如给若干个向量，输出相同数量的向量 如果只连着不同的 FC，那么会导致无法读出是 arrive 还是 leave 的情况，导致错误 因此，需要 NN 来考虑到整个句子的信息，也就是需要有 memory，这就是 R 阅读全文
摘要：
解决的问题：输入 \(n\) 个向量，输出相同个数的向量。（如，输入一个句子，输出句子中每个词的词性。每个单词转化成向量可以用 one-hot vector、word embedding 方法等） 一个比较初级的想法：将每个向量都连上去一个 FC（fully connected network），但 阅读全文
摘要：
目前做的最好的是 private 0.758 / public 0.756 感觉 HW 2 就是随便调调参 + 网络结构改成 BN + Dropout 啊 代码：https://colab.research.google.com/drive/19uQsG-kjgMZsw1wSIkZz-M8JSLIx 阅读全文
摘要：
调参调吐了。目前做的最好的是 private 1.09 / public 1.04 代码：https://colab.research.google.com/drive/1Rhne-XV8P6u_qSAjKsKA0NyAmbzQWbll?usp=sharing 分析 对代码的一些理解： 这里是构建神 阅读全文
摘要：
使用场景：对图片进行分类 首先，将图片变成向量。例如，对于一个彩色的 \(N\times N\)（这个 N 指的是像素个数） 图片，其对应着一个 \(N\times N\times 3\) 的矩阵（其中 3 是图片的 channel，在彩色图片中，每个像素由 RGB 构成，因此 channel 为 阅读全文
摘要：
核心问题：Critical Point 在 Gradient Descent 的时候，如果遇到梯度为 0 的情况，导致无法继续 optimization，这样的点叫做 Critcal Point 如果最后优化的结果不好，则出现这样的点的原因有 2 个：一个是到 local minima 了，另一个是 阅读全文
摘要：
回归（Regression） neural network 工作的核心就是：找函数 - 计算参数对应的 loss - 沿着 gradient 的（逆）方向更新参数使 loss 减小 如何计算 gradient？需要用到 back propogation（反向传播）原理 反向传播 首先，loss 值等 阅读全文
摘要：
打完深圳站之后今年的比赛就结束了，是时候总结一下了。 先说成绩。我们，哈尔滨工业大学，月间天路。两金一银，其中 ICPC 西安站银牌（rk 57），南京站金牌（rk 20），CCPC 深圳站金牌（rk 6），巧合的是，这三站也是我们打的顺序。 组队大概是今年 7 月末的时候，卢宝原来的队伍因为一些原 阅读全文
摘要：
CF1891，tyf 在继 CF rating 2090 和 2088 之后再次上演精彩表演，在 div2 打出 performance 1800 的精彩表现之后贴线暴跌。 也许，我就不适合算法竞赛吧。 初三和高一的时候停了这么长时间课搞 OI，记得当时就对 master 的黄名有一种特殊的好感，但 阅读全文