摘要：
1. section 3 的最末一段，没怎么明白，主要是 a small value of $\beta_2$ ，看起来与 default setting 相悖，并且其所说的 sparse case 与 section 5 中 AdaGrad 的描述($\beta_2\rightarrow 1$)也 阅读全文
摘要：
这是个很现实的问题，因为实际中的图片（呃，这里是说多源途径得到的）大部分都是变尺寸的。 于是每次都要进行 bind 。然而(hehe)，单纯的 bind 会带来一些一想不到的效果 \huixiao。 重复 bind 使 update 无效 多次 backward 与一次 等价 由于一次只能输入一个样 阅读全文
摘要：
之前打算留一段时间把conv操作理解下，但似乎 V0.10 与之前的版本有些改动，实现起来变容易了些（可能是这样的吧）。 这里关注的是前向过程。 Code 与 Note 二级标题按照调用路线，再次的标题按照 Code 和 Note 进行，另外的一些Note标在Code中。 Forward Code 阅读全文
摘要：
前文的思路存在问题,文末部分进行了更正。 Preface 知道这个词一年多了，还记得当时的情景，当时没有涉及到 CNN 就过去了，后面才知道是一个有趣的事物。前不久打算估计一下网络的这一指标，发现并不那么轻松，就准备另找时间。昨晚的PR课突然发现没什么可以打发时间的了，搜肠一番，那就列些等式吧。 S 阅读全文
摘要：
Intro. 起因是mxnet在这台装着12.04的 Pentium(R) 4上面和pyplot过不去，只有当pyplot先被导出的情况下才可以避免dump的厄运，然而这显然不可靠。 Reason 原因是mxnet调用了gtk2，pyploy 调用了gtk3： 将tgk的静态库重命名后启动pyplo 阅读全文
摘要：
自己hack的迭代器总觉得卡，可能是两个处理器之间工作不连贯， batch size 高了会使 CPU 上下起伏，卡顿（看着流水图也心塞），低了 GPU 的Utilization不高。所以最好的方案应该就是多线程了。 后续评论 (正文请忽略) 后面再来估计，似乎官方的版本也是没有多线程的（比如 mx 阅读全文
摘要：
Preface 这个打包设计得有些笨重（也可能是自己还没发现），每次要操作 record 的时候总想避开那些API，主要是 Header 那段，感觉鸡肋，还有默认的有损压缩((⊙﹏⊙)b)。。。也不知道是不是仅针对 uint8 类型的。总之两次用API都不想考虑，但没有其他的打包 array 的方式 阅读全文
摘要：
Preface 1. 目的是要将一个完整的 symbol 在指定 Op 处进行分割，分别返回两段的符号 2. 昨晚一看 json 的关系似乎不好确立，就打算留着假期里面找时间，结果今天发现之前的替代路径有严重问题，于是迫在眉睫... Function 备忘录在此... Jul 31, 2017 记 阅读全文
摘要：
离开 EM 接近一年了，昨晚的 PR 课继续保持了沉闷的风格，于是打算推一遍...结果半路卡住了。先看看走到哪一步了，然后借了 Ng 的 "lecture" 才解脱（去年也是找到这本pdf才算明白，言简意赅）。 Block 首先是独立同分布的似然估计(不支持 \bm ,用大写代替): $$ \beg 阅读全文
摘要：
突然又开始怀疑mxnet的softmax(如果有上次的话，应该是在寒假的时候)...总觉得 example/numpy ops/ 中的backward不对劲——太简单了吧，没有看见 cross entropy 的影子啊(doc上说会在后向的时候加入 cross entropy )。查了一番，发现 s 阅读全文