银河金工组合优化系列报告:基于深度学习预测与强化学习优化的指数增强策略
聚焦银河金工组合优化系列报告:基于深度学习预测与强化学习优化的指数增强策略。强化学习模型应用于组合优化问题,静态配置转化为动态决策:承接前序报告中深度学习模型预测的收益风险信号,我们将预测信号、基准权重、已有持仓、换手成本与跟踪误差约束共同纳入状态空间;动作空间定义为连续权重调整信号,经裁剪与 Softmax 映射为可执行的主动配置权重;奖励函数综合考量超额收益、因子暴露收益、跟踪误差惩罚、换手惩罚与集中度约束,使模型在追求长期超额收益的同时控制风险与交易成本,最大化组合综合表现。PPO 模型逐年滚动训练,双窗口+双门槛质量诊断筛选训练结果: PPO 模型采用 Actor-Critic 架构,Actor 输出连续动作分布、Critic 估计状态长期价值,其核心优势在于通过裁剪替代目标函数限制新旧策略偏离幅度,提升训练稳定性。