Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks(1)

时间:2023-03-09 21:26:45
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks(1)

今天和陈驰,汪鑫讨论了一下,借此记录一下想法。

关于这篇论文,要弄清的地方有:

1、LSTMtree到底是从上往下还是从下往上学的,再确认一下

2、关于每个节点的标注问题

3、label的值到底该怎么定

4、该神经网络的输入形式到底是什么

今天晚上对照了目前学习的两篇LSTM论文,新的发现:

之所以顺序一个是从上到下,另一个是从下到上,仅仅是因为ht取的东西不同!

Improved semantic那一篇:ht取的是孩子节点的信息(目前仅看了child-sum,还需确认N-ary)

Top-down 那一篇:ht取的是H[:,t'],也就是dependency path

那么下一步所要考虑的仅仅是,如何在代码上把这种差别体现出来。