Parsing Natural Scenes and Natural Language with Recursive Neural Networks
作者信息：
Richard Socher richard@socher.org
Cliff Chiung-Yu Lin chiungyu@stanford.edu
Andrew Y. Ng ang@cs.stanford.edu
Christopher D. Manning manning@stanford.edu
Computer Science Department, Stanford University, Stanford, CA 94305, USA

年份：2011

代码和数据公开：
https://www.socher.org/index.php/Main/ParsingNaturalScenesAndNaturalLanguageWithRecursiveNeuralNetworks

理解什么是semantic representation（word index向量-》~，图片的segment-》~）

Syntactic parsing of natural language sentences：
its importance in mediating between linguistic expression and meaning.
Our RNN architecture jointly learns how to parse and how to represent phrases in a continuous vector space of features.
优点： This allows us to embed both single lexical units and unseen, variable-sized phrases in a syntactically coherent order. The learned feature representations capture syntactic and compositional-semantic information. We show that they can help inform accurate parsing decisions and capture interesting similarities between phrases and sentences.

4 recursive neural networks for structure predication
我们的discriminative parsing architecture的目标就是要学到一个函数f：X->Y，Y是所有可能的binary parse trees，输入X包含两部分1)activation vectors的集合，代表图片块或者句子的单词，2）对称矩阵A，当segmentI和segmentJ相邻时A(i，j)=1，所以主对角线上下的两个对角线diagonal的值一定为1

句子的ground truth tree只有一个，但图片的ground可能有多个
所有可能的parser tree中，只有当在和不同类merge之前所有属于同一类的相邻的部分都merge到一起时，才算正确

4.1 max-margin estimation
▲：合并错了就给惩罚
f：只有当算法认为tree y正确时才得分高 = 最大化s，s即得分，下面会详细
根据2007年的max-margin estimation framework，确保正确的树才是得分最高的树，我们设置正确的树的得分至少比错误的树大🔺这么多的loss
正则化的风险函数J，最大化正确树的得分，最小化错误树的最大得分

4.2 greedy structure predicting rnns
指数级别个数的parse trees，没有rnn有效的动态算法，因此采用贪婪算法来找出预测可能的tree--相邻的得分最高时就合并，更新矩阵A，上面说的s就是sd的和，sd就是d节点在不断合并过程中的得分

4.3 category classifiers in the tree/master/word_complexity_lexiconsyntactic categories：矩阵和上面向量p的乘积在经过激活函数softmax，最小化softmax后的交叉熵

4.4 improvement for language parsing
因为一个句子只有两个相邻的，所以计算量没那么大，用beam search，CKY算法

5 learning
反向传播。。。
参数theda=（Wsem，W，Wscore，Wlabel），分别是输入时映射到句法-语义空间的矩阵，连接相邻向量的矩阵，求合并得分的矩阵，合并处分类的矩阵，Wsem子语言的parse中，就是look-up table L。

6 实验
需要调的参数：隐藏层的大小n（句法-语义表示），不正确parse中的过程的惩罚项（求🔺），正则化参数郎姆拉