文献阅读_IJCAI_Improving Stock Movement Prediction with Adversarial Training

花了一个周读了一下这篇论文，是最近接受在IJCAI上的一篇关于股票涨跌预测的模型，驳斥了传统方法基于静态输入的局限性，原因是由于股票的价格会在市场内随着时间不短变化，基于价格的特征实际上是随机变量。方法是采用对抗训练，在训练过程中加入随机噪声模拟股票在实际中收外界干扰的过程，模型是采用常规的深度学习模型LSTM+attention.达到的效果是比其他方法的准确率提高了3.11%。

Improving Stock Movement Prediction with Adversarial Training

　　ABSTRACT:This paper contributes a new machine learning solution for stock movement prediction, which aims to predict whether the price of a stock will be up or down in the near future. The key novelty is that we propose to employ adversarial training to improve the generalization of a recurrent neural network model. The rationality of adversarial training here is that the input features to stock prediction are typically based on stock price, which is essentially a stochastic variable and continuously changed with time by nature. As such, normal training with stationary price-based features (e.g., the closing price) can easily overfit the data, being insufficient to obtain reliable models. To address this problem, we propose to add perturbations to simulate the stochasticity of continuous price variable, and train the model to work well under small yet intentional perturbations. Extensive experiments on two real-world stock data show that our method outperforms the state-of-the-art solution (Xu and Cohen 2018) with 3.11% relative improvements on average w.r.t. accuracy, verifying the usefulness of adversarial training for stock prediction task. Codes will be made available upon acceptance1 .

中文：本文提出了一种新的股票运动预测的机器学习解决方案，旨在预测股票价格在不久的将来是上涨还是下跌。关键的创新之处在于，我们提出采用对抗性训练来改进递归神经网络模型的泛化。这里对抗性训练的合理性在于，股票预测的输入特征通常是基于股票价格的，股票价格本质上是一个随机变量，本质上是随时间不断变化的。因此，具有固定价格特征(如收盘价)的正常训练很容易对数据进行过度拟合，不足以获得可靠的模型。为了解决这一问题，我们建议增加扰动来模拟连续价格变量的随机性，并训练模型在小而有意的扰动下很好地工作。对两个真实股票数据的大量实验表明，我们的方法优于最先进的解决方案(Xu和Cohen 2018)，平均w.r.t.的相对准确度提高了3.11%，验证了对抗性训练在股票预测任务中的有效性。代码将在接受时提供。

 一、研究内容

传统的方法是将训练样本的特性看做是从特定时间步长的输入变量分布中抽取的样本，该方法没有正确处理输入变量的随机性，容易导致训练数据过拟合，泛化性能弱等问题。为了解决这个问题，我们在模型的高级预测特性上增加了扰动，例如直接投射到在最终预测的最后一层，由于大多数深度学习方法都是在较高的层中学习抽样表示，因此他们的大小远远小于输入的大小，因此在高层特征中加入扰动更有效，同时也能保持随机性。

1.研究了股票运动预测的泛化困难，强调了处理输入特征随机性的必要性。

2.针对随机挑战提出了一种对抗性训练方法，并将其应用于股票运动预测的深度学习模型中。

3.我们在两个公共基准上进行了广泛的实验，验证了对几种最先进方法的改进，并表明对抗性学习使分类器更健壮和更通用。（ACL，KDD,ACC,MCC）

引入方法：随机变量+LSTM+注意力机制

1.注意机制的目的是对不同时间步长的数据对整个序列表示的贡献不同这一事实进行建模。

ATTENTIVE LSTM

1.feature mapping layer

2.LSTM layer

 

3.Temporal Attention Layer

注意力机制是将不同时间步长的隐层表示压缩为具有自适应权值的输入序列的整体表示，是对不同的时间步长的数据对整个序列表示的贡献不同这一事实进行建模计算。例如：最高价和最低价落在滞后期的日子可能对总的代表性有较高的贡献。

Adversarial training

传统：过拟合，泛化性能差。

对抗性的例子是通过在纯净的样本中添加故意的扰动而产生恶意的输入这样训练好的模型就会对对抗性的样本做出错误的预测。

二、实验过程

 首先调整历史上的交易日然后沿着一直的交易日移动一个长度为T的之后来构建候选样本。

Baseline:RAND,LSTM,ALSM,STOCKNET.

其中stocknet:采用变分子编码器对股票输入进行编码，以捕捉股票的随机性，并利用时间注意力对不同的时间步长的重要性进行建模。

与Stocknet相比，Adv_ALSTM实现了显著的改进，该网络捕获了股票输入的随机性，我们假设的原因是stocknet在训练过程中以来Montecarlo采样，无法明确地建模随机扰动的尺度和方向。

 三、结论

　　In this paper, we show that neural network solutions for stock movement prediction could suffer from weak generalization ability since they lack the ability to deal with the stochasticity of stock features. To solve this problem, we propose an Adversarial Attentive LSTM solution, which leverages adversarial training to simulate the stochasticity and to enhance the generalization ability of the model. We conduct extensive experiments on two benchmark datasets and justify the effectiveness of the proposed solution, signifying the importance of accounting for the stochasticity of stock prices in stock movement prediction.

　　研究结果表明，神经网络的股票运动预测解缺乏处理股票特征随机性的能力，泛化能力较弱。为了解决这一问题，我们提出了一种对抗性注意LSTM方法，利用对抗性训练来模拟模型的随机性，提高模型的泛化能力。我们在两个基准数据集上进行了大量的实验，验证了所提出的解决方案的有效性，说明了在股票运动预测中考虑股票价格随机性的重要性。

展望：

　　In future, we plan to explore the following directions: 1) we are interested in extending the proposed Adv-ALSTM to solve other stock prediction tasks such as the stock prices (Zhang, Aggarwal, and Qi 2017). 2) We plan to investigate whether adversarial training is effective for training stock movement solutions with other neural network structures such as the convolutional neural networks (Lin, Guo, and Aberer 2017). 3) We will explore the effect of adversarial training over methods under fundamental analysis.

　　未来，我们计划探索以下方向:

　　1)我们有兴趣将拟议的adva - alstm扩展到解决其他股票预测任务，如股价(Zhang, Aggarwal, Qi 2017)。

　　2)我们计划研究对抗性训练对于训练卷积神经网络等其他神经网络结构的股票运动解是否有效(Lin, Guo, and Aberer 2017)。

　　3)在基本分析的基础上，探讨对抗性训练对方法的影响。