2016-02-21-阅读笔记：大脑计划+3rd open GPU+ Delip质疑google Swivel中loss-function + training trick BN in DL

写给自己看的：

1，http://www.almosthuman.cn/2016/02/20/edxxv/

使用反向工程来研究人类大脑，将会对于机器学习AI带来深远影响，甚至颠覆；看到其中有这么一段翻译，还是很切合于之前同友人的讨论的：

“人工神经网络的信息处理是单向的：从输入节点到输出节点。而大脑的工作方式则很不相同。人类大脑由许多神经元构成，这些小单元可以通过巨大的电脉冲网络互相发送信息，这些信息调控了所有大脑所控制的身体功能，包括理解场景和肢体运动等。通过最近的研究数据可以发现，大脑中的神经元是高度互连的，每一步处理过程都可能产生反馈。尽管近几十年来生物学家已经在相关研究上取得了丰硕的成果，但到目前为止，科学家还并没有完全理解神经元的工作机制。而一旦理解其中的机制，我们可能就将有能力打造出更有能力且更近似于人脑的神经网络。”

引用其中Lee的一段讲话：“希望这些知识可用以促进新一代机器学习算法的开发，使人工智能机器可以在不需要监督的坏境下通过少量样本进行学习，而这正是人类智能的标志。”

 

2，Opensource GPU

Nyami，开源GPU，论文作者花费5年时间设计实现完成，可以帮助研究人员和发烧友hobbyist不必重新发明轮子，直接使用这种开源的GPU实现，并能够在该平台上验证自己的各种设计思路（针对特定的需求）i,.e "The ramifications of the findings could make processors easier for researchers to work with and explore different design tradeoffs"；

文末有论文的连接： Nyami: A Synthesizable GPU Architectural Model for General-Purpose and Graphics-Specific Workloads

 

3，Depli Rao在博客当中之一google Swivel

作者质疑其中的loss function使用的合理性和必要性；

并根据论文中提供的比较土（word2vec，swivel，以及glove），认为虽然swivel在literature表现良好，但是不足以打动他自己对于word2vec的信心；

http://deliprao.com/archives/118   

自己当初看word2vec就没用心看， 如果未来工作重回这块，还需要把过去的坑给填平！！！！

2016-02-06：  Swivel: Improving Embeddings by Noticing What's Missing

 

4， Batch Norm为何有效，

这是个知乎上一个讨论，没完全看懂，还需要把google的论文先细读一遍。。。。

mark一下，占个坑先。

讨论：https://www.zhihu.com/question/38102762/answer/85238569

论文：http://jmlr.org/proceedings/papers/v37/ioffe15.pdf