如何利用AI模型寻找日内最佳买卖点？ | 民生金工

时间： 2024-10-29 05:17     

（来源：尔乐量化）

➤ 对于深度学习类的高换手组合，vwap成交要好于收盘价成交，选择准确的交易时点可以带来组合收益增厚。

以我们在之前的报告《深度学习模型如何控制策略风险？》中构建的元学习风控因子在中证800内的多头组合为例，组合换手率约为年化单边24倍左右。vwap成交下年化超额收益率为19.1%，收盘价成交下只有16.5%。我们统计今年以来所有股票的日内最低价到收盘价平均涨幅为1.86%，中位数为1.19%；从日内最高价到收盘价的跌幅平均为1.96%，中位数为1.46%，在这之中，若能选择正确的交易时点，则可以为组合提供显著的收益增厚。

➤ 传统线性因子及事件的交易时点选择效果不明显。

我们取股票5分钟频数据计算10个技术因子，计算因子的时序IC以及信号平均多空收益，并无显著收益。线性指标触发的事件也无法获得显著受益。原因可能有传统线性指标较为拥挤，漏掉集合竞价信息可能对因子准确率产生影响，数据粒度不够细或交易信号滞后等导致价格趋势跟踪过于粗糙，等等。因实时level2数据较难获取，本篇报告着重针对前两个原因进行改进。

➤ 利用深度学习对于每一个交易时点单独建模预测5分钟后至收盘收益，交易时点选择显著优于传统线性因子。

我们应用ALSTM模型预测股票未来五分钟至当天收盘的收益率，用个股过去最多240个5分钟频的量价数据作为输入，高开低收成交量共6个指标，预测五分钟后的节点至收盘的收益，并在每个时间截点单独建模，信号平均多空收益率0.23%，显著优于线性因子。随后在模型中加入当天集合竞价的level2因子以及部分弱有效技术因子作为嵌入输入，模型信号平均多空收益提升至0.26%。

➤ 利用SAC强化学习模型进行实时交易决策，可以进一步增厚组合收益。

在股票市场中，强化学习对于高频数据的输入更加敏感，适合制定高频交易决策，SAC强化学习因其优秀的避免过拟合机制而被广泛应用至交易决策中。我们根据当前时间，将预训练好的46个深度学习模型对应特定时点的预测状态以及截面因子输入强化学习，通过多头注意力网络将二者结合，输入强化学习中进行在线交易决策，最终，策略函数将输出每个时间点对于每只股票的交易信号。强化学习信号平均多空收益0.34%，14：00-15：00胜率最高，中午至14：00间收益最高。

➤ 将强化学习信号应用在投资组合与指数中效果显著。

利用一定规则进行交易回测，SAC强化学习因子多头组合的年化超额收益率提升至较收盘价提升7.6%，较vwap成交提升5%，提升显著。但相比理论提升较低，这可能是因为部分股票没有成交信号，且取第一个信号时有效性相对较弱等原因。将个股信号合成至股指中，在沪深300，中证500，中证1000平均收益分别为10.3，10.9，11.8bps，在午盘时段收益较高。根据午盘时段估值多空信号计算沪深300日内择时累计收益，年均累计收益14.3%，胜率53.8%，赔率尚可。

01

1.1 日内交易时点选择的意义

在股票投资中，选择合适的交易时机和价格能够显著提升投资组合收益率。相对于每天的收盘价，在调仓时选择低于收盘价的时点买入或者高于收盘价的时点卖出可以帮助投资者获得投资组合的收益增厚。在一般的策略回测中，我们常用vwap（成交量加权均价）来模拟当天的成交价，vwap 是衡量交易质量的一个重要基准，因为它反映了一天内交易价格的加权平均水平。2024年以来vwap与收盘价格相差6个基点，差异微乎其微，且分布基本服从正态分布。

用一个具体例子测试一个高换手投资组合下，不同价格的收益差距。以我们在之前的报告《深度学习模型如何控制策略风险？》中构建的元学习风控因子在中证800内的多头组合为例，组合换手率约为年化单边24倍左右。我们分别测算回测区间内，每周第一个交易日调仓，费用双边千分之三的设定下，vwap成交与收盘价成交的收益区别：：

vwap成交的年化超额收益率为19.1%，收盘价成交下则只有16.5%。结果表明，vwap成交要略好于收盘价成交。一般来说深度学习因子对于即时信息的预测能力更好，均价反映了股价一天的平均表现，而收盘价较均价反映更加靠后的信息，故收盘价成交表现不如均价。但在其他类组合如优秀基本面组合中，随着换手率降低，vwap成交与收盘价成交差距可能进一步缩小。

从最低价至收盘价或者从最高价到收盘价间都有充分的收益空间。我们统计近一年内所有股票的日内最低价到收盘价平均涨幅为1.86%，中位数为1.19%；从日内最高价到收盘价的跌幅平均为1.96%，中位数为1.46%。

故我们可以看出，若能选择日内正确的交易时点，可以在不改变投资组合本身持仓的情况下，通过更合理的成交价格以提升组合收益。

1.2 5分钟频简单量价因子的日内择时效果

我们从分钟频数据出发，试图找出对日内交易时点有预测作用的信号，以打败收盘价成交。一个自然的想法是用常见的日频技术指标算法在分钟频数据上进行应用。考虑到计算资源的稀缺性以及分钟频数据的庞大，我们取股票5分钟频数据计算10个技术因子，考虑到股票开盘价格变动迅速，成交成功率相对较低，我们取9：35为每天首个信号计算截止点，作为5分钟后的交易决策参考。因子具体定义如下：

我们计算因子的时序IC与到收盘价的预期多空收益来评估因子的日内择时效果。因子的时序IC定义为每只股票在当天每个时刻因子值与五分钟后至收盘收益的相关性，即每只股票每天都有一个IC。对于多空收益，我们首先需要一个规则将因子值转化为多空信号，一个自然的想法是计算因子在最近一段时间的分位数以判断其股价是否在高位或者低位。我们计算当前因子值在过去960期（即20个交易日）的40%及60%分位数，若指标为正向，小于40%分位数则发出买多信号，大于60%即发出卖空信号；若指标为反向则相反。回测从2019年开始，剔除新股，ST股与每日的涨跌停股票。10个技术指标的回测结果如下：

从结果来看，10个因子的平均IC都较为显著，但平均多空收益较低，无法显著跑赢收盘价。

1.3 5分钟频简单K线事件的日内择时效果

除根据因子信号的时序阈值进行日内买卖时点选择外，事件型策略也可以产生多空信号。我们在前文提到的因子基础上建立了4个事件型策略，事件多空信号定义与每次事件的平均多空收益如下：

综上我们发现，简单线性的因子型策略与事件型策略都很难相对收盘价有明显超额收益，尤其在考虑到交易滑点与大体量投资组合的冲击成本后。原因可能有以下几点：

1.信号拥挤从而导致传统线性指标失效：许多投资者利用类似信号盯盘进而做出交易决策，导致市场对价格反应迅速，传统线性指标失效。

2.漏掉集合竞价信息无法考虑股价跳开：线性因子最多考虑过去48期的5分钟k线，但这其中并不包含集合竞价的信息。每日集合竞价决定了当天的开盘价，而集合竞价中价格的波动率与成交量相关性等因素都可能对当天的筹码分布起到影响，漏掉这部分信息可能对因子准确率产生影响。

3.数据粒度不够细，交易信号滞后等导致价格趋势跟踪过于粗糙：在信号的构建中，我们只用到5分钟频的实时数据，预测五分钟后的交易信号，在这5分钟内，个股的筹码分布可能发生变化。如果基于实时逐笔委托构造信号并减少信号滞后时间，信号很可能更有效。然而，考虑到实时level2数据成本过高以及计算资源的稀缺性，本篇报告中不做这部分的相关讨论。

02

深度学习日内交易时点寻优

CHAPTER

针对1.3中提出的问题，我们尝试探索一些新的方法对日内交易时点进行预测。在过往的报告中，我们在机器学习预测股票收益的方向做出了一些探索与创新，包括深度学习与强化学习等。在下文中，我们将尝试采用此类非线性的方法对交易时点进行预测。

2.1 深度学习模型选择

深度神经网络是一种基于多层神经元的无监督算法，它被广泛应用于计算机视觉、自然语言处理等领域。深度学习的主要神经网络模型包括：卷积神经网络（CNN）、递归神经网络（RNN）、长短时记忆网络（LSTM）、门循环单元网络（GRU）等等。其中LSTM是一种用于处理和预测基于时间的序列数据的递归神经网络（RNN）。相比传统RNN，LSTM可以克服长期依赖问题，能够有效记住长时间跨度的序列信息。LSTM通过其内部结构（输入门、遗忘门和输出门）来控制信息的传递，从而记住或丢弃与预测任务相关或无关的信息。

根据我们之前对深度神经网络的研究，我们选用带有注意力机制的LSTM模型，即ALSTM模型进行建模。ALSTM模型最早由Yao Qin等人在2017年IJCAI上发表的论文A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction中提出。ALSTM模型在LSTM模型的基础上加入了注意力（Attention）机制，注意力机制是一种能够动态选择序列中关键时刻的机制。在时间序列预测中，某些时刻的数据对最终预测的贡献更大，注意力机制通过分配不同的权重来突出这些重要时刻的数据，提高模型的表现。

之所以选择ALSTM模型，主要原因有两个。第一，模型的输入序列较长，需要LSTM模型去记住长时间跨度的序列信息，LSTM可以对输入的股票量价时间序列进行特征提取，输出每个时间步的隐藏状态（hidden state），这些隐藏状态代表了模型对每个时间步的记忆，能够在较长的时间序列输入中提取更加有效的特征。第二，通常来说，股票开盘半小时左右的成交较为活跃，价格波动率较大，而注意力机制可以对LSTM的隐藏状态分配不同的权重。通过这些权重，模型可以聚焦于对当前预测任务最有影响的时间步，比如过去几天的开盘，收盘附近某段时间，从而避免LSTM对所有时刻给予相同关注，提升模型的预测能力。

2.2 ALSTM模型预测交易时点

我们应用ALSTM模型预测股票未来五分钟至当天收盘的收益率。用个股过去最多240个5分钟频的量价数据作为输入，高开低收成交量共6个指标，预测五分钟后的节点至收盘的收益。以早上9：35分的模型为例，我们预测每只股票9：40到收盘的收益率，数据结构及模型示意图如下。

需要注意的是，我们需要对每一个5分钟时点的预测单独建模。原因主要有两个：第一，不同时点的预测标签长度不一致，与我们在过往报告中的深度学习预测股票未来n日收益不同，在日内随着预测时点向后推移，我们的预测标签窗口会渐渐缩短。9：35分的模型预测了未来230分钟的收益，下午14：50的模型只预测最后5分钟收益，预测含义不一致，故须分开建模；第二，对于不同时点的预测模型，注意力权重的位置不同，由于深度神经网络的输入是时序数据，每一个时间步的位置都具有其意义，比如对于9：35分的模型，9：30分的输入是倒数第二个时间步，而对于9：40分的模型就是倒数第三个时间步，而ALSTM对于每一个时间步的位置权重固定，所以不同时点的模型需要重新训练每个时间步的注意力权重。

按照数据截止时点来算，从每日9：35至14：50， 我们共需训练46个模型。并且随着时点向后推迟，数据的输入窗口也不一致。由于早上预测的时间窗口较长，我们采用240的时序窗口；随后每往后5分钟，就将窗口长度减少4，则14：50分模型的输入窗口为60。考虑到数据量，我们每次采用过去3年数据进行训练，年度滚动训练，样本外从2019年开始。其他训练设置与模型细节如下图：

与第一节中的线性信号相同，我们继续利用时序IC与每次信号的平均多空收益衡量信号表现。因子时序IC在2019年以来的平均值为0.095，稳定性较高。模型每日在所有股票上的IC胜率超过60%，而每日IC为所有股票时序的平均，故较为稳定。我们以±5个基点为阈值根据预期收益制定多空信号，即预测5分钟后至收盘收益大于0.05%则发出买多信号，小于-0.05%则发出卖空信号。2019年以来平均每次信号的平均多空收益0.23%，相比线性因子有显著提升。

2.2 对于 ALSTM模型的改进

在前文中我们提到过，分钟频数据不包含集合竞价信息，使得模型缺少了对日间股价跳跃的认知，故我们对于原模型进行改进，加入集合竞价信息的输入。具体地，我们采用每日集合竞价level2数据构造的特征，以及第一节中提到的部分弱有效技术因子，作为ALSTM的嵌入层输入，模型其他设置不变。示意图如下：

集合竞价因子以及线性技术因子算法如下：

改进后模型效果有所提升，信号平均时序IC提升至13.3%，信号平均多空收益提升至26.3bps。假设一个双边年化换手率10倍的随机投资组合，在不考虑滑点及冲击成本等因素的影响下，改进ALSTM日内预测因子平均可提升其2.63%的年化收益。

03

SAC强化学习日内交易时点寻优

CHAPTER

3.1 SAC强化学习

相较于深度学习，强化学习往往在高频率的实时决策中更加有效，因为强化学习的在线模式可以不断更新模型，适应市场变化规律。在股票市场中，之前的尝试表明，强化学习在周频以上的模型中效果一般，对于高频数据的输入更加敏感，适合制定高频交易决策。故在本篇报告中，我们尝试利用强化学习进行实时交易决策，输出股票买卖信号。

在我们上一篇AI报告《StockFormer：基于Transformer的强化学习模型探究》中，我们将深度学习的预测状态输入至强化学习进行交易决策的制定。具体地，我们将Transformer深度学习对于未来短期与长期收益的预测状态以及股票间关系输入至SAC强化学习中以制定日频交易决策。

SAC强化学习通过结合策略梯度方法和Q学习，持续地更新Actor（策略模型）和Critic（价值网络）以寻找最优策略。策略不仅会被训练以最大化预期奖励，同时增加的熵项鼓励策略探索更多可能的交易策略，增强模型的泛化能力和适应性，详细结构请参考相关报告。

SAC将输出策略函数π，对于每只股票决定未来5分钟的买入/卖出决策。SAC方法包括一个演员网络（πθ）和两个评论家网络（Qϕ1  和Qϕ2 ），演员网络根据当前策略选择动作