一种多值相关的深度递归神经网络模型.docx

《一种多值相关的深度递归神经网络模型.docx》由会员分享，可在线阅读，更多相关《一种多值相关的深度递归神经网络模型.docx（14页珍藏版）》请在装配图网上搜索。

1、O国泰君安证券f 略GUOTAI JUNAN SECURITIES学术刖沿模型专题报告文章背景如何把握股市的变化规律，预测股价的走势，一直是投资者和研究人员 关注的热点，股价的涨跌会受到政治、经济、社会和市场等许多因素的 影响。对股票投资者来说，股市的趋势预测与实现的赢利直接相关，预 测越准确，就越能避免风险。对上市公司来说，股价反映公司的经营状 况和对未来发展的预期，是商业分析的重要技术指标。在更加宏观的层 面上，股票预测研究在一个国家经济发展的研究中也起着重要的作用。 综上，对股票市场的预测研究具有重要的理论意义和广阔的应用前景。目前，已有不同的机器学习模型被应用于股票价格预测研究，其预测

2、精 度也越来越高，但基本部局限于预测第二天的收盘价这一个指标。考虑 到一只股票的一些参数和指标之间存在相关性，有必要设计一个多值相 关的神经网络模型，能够处理同股票的多个关联价格，并同时输出这 些参数和指标。为此，本文提出了一种基于LSTM的美联神经网络模型， 用于预测第二天的开盘价格、最低价格和最高价格。1. 模型设计2.1.长短期记忆网络（LSTM ）K短期记忆网络（LSTM）是递归神经网络（RNN）的一种特殊形式，是 一系列能够处理序列数据的神经网络的总称。LSTM是一种特殊的网络 结构，具有三个“门”结构。三个门被放置在一个LSTM单元中，称为 输入门，遗忘门和输出门。当信息进入LST

3、M的网络时，该模型可以通 过规则进行选择，只留下符合要求的信息，不符合要求的信息通过遗忘 门被遗忘。图1长短期记忆网络（LSTM ）单元结构数据来源： Study on the prediction of stock price based on the associated network model of LSTMO国泰君安证券f 略GUOTAI JUNAN SECURITIES学术刖沿模型专题报告现过拟合。我们还注意到，关联网络的平均均方误差大于LSTM和DRNN 的平均均方误差。这是因为关联网络模型更复杂，需要更多次的迭代。表3 ：在不同训练时间下三种模型的平均方差损失ofLSTM训练

4、次数LSTMDRNN矣联网络500.03777110.01529480.0370641000.01474280.01911810.0295332000.01328380.007216010.0261263000.004183450.01045190.0197455000.008183450.01065460.014983-敬据术源：CSiudyon【he predlcilon ofsiock price based onthe assoclaied network model为了验证这一猜想，作者对关联网络进行了一系列实验，使用关联网络 模型对次日开盘价格、最高价格和最低价格进行训练和预测。结

5、果如表 4所示，这证明了作者提出的猜想，而这一原因的根源在于相关的网络 模型是由多个深度递归神经网络组成的，整个网络的神经元数量较大， 且多个输出损失结合在一起，因此关联网络模型的损失函数值减小较为 缓慢。作者绘制了每个模型进行200次迭代的损失函数图，如图11, 2 13所 示。其中美联网络显示的是总损失和三个子损失（开盘价损失、最低价 损失、最高价损失）。通过对损失图的分析，我们发现LSTM模型在训 练过程中有多个波动，而DRNN和关联网络则非常稳定。此外，关联网 络模型的年个子损失也在训练过程中逐渐减少。从表4我们可以发现， 虽然关联网络的总损失高于其他两个模型，但其子损失非常低，同时随

6、 着迭代次数的增加，关联网络的总损失逐渐减小。图13矣联网络模型的损失函数值ofLSTM表4 ：不同训练次数下关联网络的平均平方损失训练次数开盘价最低价最高价平均500. 04604070.03414590. 03100710. 0370641000. 03450820.0312340. 02285870. 0295332000. 02650430.0280830.02378930. 0261263000. 0235740.01842220.01723870.0197455000.0150520.01456090.01533590.014983数据来源：Study on the predict

7、ion of stock price based on the associated network model ofLSTM作者利用中石油和ZTE两只股票的历史数据验证了模型的通用性，实验 结果如图14, 15所示，结合图13和表5,我们发现，该模型对中石油 的预测性能更好，对ZTE的拟合结果在初期表现较差，后来逐渐好转， 两只股票最终的平均均方误差损失相近。通过实验我们发现，训练数据 越多，模型的预测效果越好。此外，随着模型训练的迭代次数增加，损 失函数值逐渐减小。得出上述结果的原因主要有两点：一是该模型非常 复杂，需要大量的数据来对每个神经元的参数进行训练优化。二是中石 油股票总市值较大

8、，股价波动相对较小，可以快速获得良好的训练效果。而 ZTE的市值较小，股价波动相对较大，因此需要更多的训练数据才能获得 良好的训练效果。表5 ：矣联网络基于不同数据集的平均平方损失股票开盘价最低价最高价平均中石油0.0361840.0329140.0342260.034444ZTE0.0322470.0373050.0317080.033753上证综指0.0234190.0219760.0307760.025390数据来源：Study on the prediction of slock price based on the associated network model ofLSTM4.3

9、,测试阶段的实验分析为了验证每个模型的训练效果，作者使用多个股票的测试集对这三个模 型分别进行r测试。均方误差（MSE）是参数估计值与参数真实值之间 偏差平方的期望值，而平均绝对误差（MAE）是误差绝对值的平均值， 可以更直观地反映预测值误差的情况。因此，在测试过程中，作者使用 MAE作为偏差程度的评价指标，使用1-MAE作为精度指标，三种模型 的平均精度如表6所示，基于不同数据集的关联网络模型平均精度如表 7所示：表6：三种模型的平均精度数据来源：Study on the prediction of stock price based on the associated network mo

10、del ofLSTM模型LSTMDRNN关联网络开盘价最低价最高价平均精度0.7879250.9737540.9719990.9561850.974434表7 ：关联网络模型基于不同数据集的平均藉度数据来源：Study on the prediction of stock price based on the associated network model ofLSTM股票开盘价最低价最高价中石油0.9863310.97950.981839ZTE0.9639790.9566550.96012上证综指0.9719990.9561850.974434如图16所示，LSTM模型预测值与真实值之间存

11、在较大的误差，而图17 显示DRNN模型预测值与真实值几乎一致，这说明DRNN的测试性能 优于LSTMo关联网络三个维度的预测结果与真实值之间的偏差也较小， 如图18所示。从图17, 18中，我们还可以发现，对于最高价的预测， 关联网络的性能优于DRNNo三种模型平均精度的比较见表6,我们可 以发现，对于预测最高价，关联网络模型的平均精度高于另外两种模型。对这 一现象的合理、解释是，第二天的最高价不仅与历史数据有关，同时也与当天的 开盘价和最低价有关。所以，关联网络在预测价格上比DRNN模型更加精确 也更为稳健。of LSTMofLSTM数据来源：（Study on the predictio

12、n of slock price based on the associated network model ofLSTM作者使用中石油和ZTE数据测试集对训练后的关联网络模型进行了测 试，实验结果如图19, 20所示。我们可以看到，关联网络在三个数据集上 的表现都较为良好，从表7我们可以看出，ZTE的平均预测精度不如其他 两只股票好，但基于三个数据集的精度均在95%以上。综上，关联网络 模型可以同时预测多个相关值，且预测值与实际值之间的差异较小，预测性 能较好同时表现稳定。图20关联网络基于ZTE数据的测试结果5.结论本文提出了一种基于关联网络的多值相关网络模型，该模型可以同时预 测一只股票

13、的多个价格参数。作者给出了模型结构、算法框架和实验设 计，并通过与LSTM模型和DRNN模型的比较，验证了关联网络的可行 性和预测准确性，同时使用多个数据集验证了该模型的适用性。实验表明, 美联网络不仅在平均精度上优于其他两个模型，还可以同时预测多个值， 每个值的预测准确率都在95%以上。同时我们应该注意到，虽然该模型总体上取得了很好的效果，却仍有一 些方面需要改进。例如，本文在训练阶段总损失函数的计算中采用了简 单的算术平均算法，这种损失函数计算方法没有考虑到各子损失之间的 关系，以及总损失最小时的其他一些细节，如各子损失的极端情况和损 失减少过程中的振荡。在接下来的研究中，可以进-步研究输

14、入参数的 降维方法和优化损失函数计算方法，以进一步提高模型的整体性能和精 度。这些门允许信息被选择性地传递。(1)式为LSTM网络的默认激活函数， Sigmoid函数，LSTM可以通过门控单元来添加和删除神经元的信息，该结 构包含个Sigmoid神经网络层和个按位的乘法操作。Sigmoid网络 层输出的每个元素都是0.1之间的实数，表示信息传递的权重。同时在 LSTM神经网络中，也有一层包含tanh激活函数，如(2)式所示，它被用于 更新神经元的状态。1心=(1)qX q-Xt*(x)= e + 万LSTM神经网结的遗忘门决定了 x需要丢弃的信息，读取儿_1和X”为 神经元状态C-1赋予一个0

15、到I之间的值，(3)式表示了遗忘门的遗忘概 率函数：ft = o(yVf - ht-x,Xt + bf)(3)其中表示上一个神经元的输出，&表示当前神经元的输入，。是一个 Sigmoid 函数。输入门决定了向神经元状态添加多少新信息。首先，包含Sigmoid激活 函数的输入层决定需要更新的信息，然后由tanh层生成候选向量依 照(4)式对神经元的状态进行更新：Ct ft * Ct-i + it *(4)其中：it = o(yVi ht-i, xt + bi)(5)Ct = tanh(lVc xt + be)(6)输出门用于控制有多少当前的神经元的状态被激活，以及有多少控制单 元的状态被激活，如

16、(7)式和(8)式所示：Ot =(r(Wo ht-i,xt + bo)(7)ht = 0t* tanhCt)(8)2.2.深度递归神经网络(DRNN )基于LSTM的深度递归神经网络(DRNN)是递归神经网络(RNN)的 一种变体。相对于传统RNN网络，DRNN为了增强模型的表达能力， 每个时刻中循环都被重:复很多次。(b) The neural network model with dropout图2无dropout和有dropout的神经网络模型对比(a) The neural network model without dropout数据来源：(Study on the predicti

17、on of stock price based on the associated network model ofLSTM深度递归神经网络由LSTM组成，故其机制与LSTM相同。其在构建任 务模型的过程中采用了 dropout的方法，dropout是指在深度学习网络的 训练过程中，根据一定的概率从网络中暂时丢弃神经元，是防止过拟合 的种手段。dropout操作的具体原理是在训练的迭代过程中，以概率p 随机删除每一个神经元，而在该迭代中的数据则用剩余的(l-p)*N个神 经元组成的网络进行训练，从而避免过拟合问题。图2显示了无dropout 和有dropout神经网络的结构对比图。作者采用基于

18、LSTM,带有dropout的深度递归神经网络DRNN模型作 为对比模型，验证所提出的关联神经网络模型的可行性和适用性。基于 LSTM的深度递归神经网络的结构如图3所示：图3基于LSTM的深度神经网络模型2.3.关联神经网络模型由于股票每日的开盘价、最低价和最高价相互关联，而目前开盘价、最 低价和最高价一般分别由不同的网络预测，因此彼此之间的相关关系是 被忽略的。对此，本文以深度递归神经网络为基础，设计了一个基于 LSTM的多值关联神经网络模型，其结构如图4所示：图4关联网络的结构示意图学术前沿模型专题报告 数据来源：Study on the prediction of stock price

19、 based on the associated network model ofLSTM多值关联神经网络模型的具体数据处理流程如图5所示，数据通过输入 层同时传输到全部的三个分支，这三个分支分别对开盘价、最低价和最 高价进行预测。图5关联网络的数据处理流程图在中国股市中，由于涨跌停的限制，股价的最高涨跌幅仅为10%0因此，该 模型将左分支输出（开盘价）与第二分支LSTM网络的输出结合在一起 作为预测最低价的输入参数数据，最高价受当日开盘价、最低价的影响, 因此左分支输出（开盘价格）和中间分支的输出（最低价格）以及第三 分支LSTM网络的输出共同作为预测最高价的输入数据。在模型训练阶段，以总损

20、失Ltotal作为月标函数，将其最小化，总损失的 数学表达如下：(9)算法和实验设计回归问题中常用的损失函数通常是均方误差（MSE）,它是对估计晟与实 际量之间偏差平方的期望。MSE可以评估函数的偏高程度，MSE的值 越小，模型在实验数据上的预测性能越好。因此，在训练阶段，作者以 MSE作为衡量神经网络模型性能的标准。MSE（y,y） = %气一祝（10）3.1,算法深度学习通常需要大量的时间和计算资源来训练，我们需要建立一种只 需要较少资源且收敛速度较快的优化算法。Adam优化算法是随机梯度 下降算法的一种扩展，在求解非凸优化问题上具有很大的优势。在训练阶段，模型采用Adam优化算法，以总损

21、失作为目标函数。如图 6所示，输入的数据序列经过三个DRNN网络，每个DRNN网络都产生 一个损失，这三个DRNN网络的损失之和为总损失。基于此利用Adam 算法来优化总损失，当迭代的次数没有达到设定次数时，框架将继续训 练以减少总损失，直至达到设定训练次数后停止训练过程。图6关联网络算法的框架3.2.参数设定在LSTM神经网络的输入中有一个步长参数，表示需要使用多少历史数 据作为预测当前价格的参考。为了在多值关联模型的实验中使用较优的 步长，本文对6112个样本数据进行了比较实验，步长分别为5、1()、20、 30,迭代次数为50,损失函数变化图如下所示：ofLSTM图9步长为20的损失函数

22、变化图根据分析步长5、1()、2()、3()时的损失函数变化图，我们发现步长为10 和20时的损失函数减小得最快，最早达到稳定状态。通过观察表1.我们发现步长为5的损失函数终值最小，步长为20的损 失函数终值比步长为5的高0.0014901 o综合考虑损失函数收敛速度和 损失函数终值，作者在本模型中选择20作为步长。表1:不同步长的均方损失数据来源： （Study on the prediction of stock price based on the associated network model ofLSTMStep5102030Loss0.01486420.01810640.0163

23、5430.01790962. 实验结果及分析4.1,数据集实验中使用了三个数据集，分别为上证综指000001,上交所的中石油（股 票代码601857）和深交所的ZTE （股票代码000063）.其中上证综指有 6112个历史数据；中石油有2688个历史数据；ZTE有4930个历史数 据。每个数据集以4： 1的比例按时间顺序分为训练集和测试集。每个数 据集有7个参数，作者将这些参数作为模型的输入，输出第二天的开盘 价、最低价和最高价。相关参数及标识符见表2：表2：相关股票参数的标识符数据来源：（Study on the prediction of stock price based on the

24、 associated network model ofLSTM参数名称标识符开盘价OP收盘价CP最低价LP最高价HP成交量V成交额M价格变化C由于不同股票数据的测量单位不同，为避免因此带来的不便，作者将所 有参数标准化：， x-minX= max-min）通过归一的标准化操作将全部数据缩放到0,1,这一做法不仅加快了梯 度下降到最优的速度，同时也提高了精度。4.2,训练阶段的实验分析作者基于上证综指的训练数据集，将关联网络与LSTM网络和基于 LSTM的深度递归神经网络（DRNN）进行了实验比较，结果如表3所 示。我们可以发现三种模型的均方误差均随着训练时间的增加而逐渐减 小，LSTM网络和DRNN都经历了轻微的波动。随着训练时间的增加， LSTM的均方误差变得低丁其他两个模型，但在测试阶段，LSTM的预 测效果最差，平均精度最低，这是因为训练次数的增加会导致LSTM出