RL 与监督学习的根本区别
| 维度 | 监督学习 | 强化学习 |
|---|---|---|
| 输入 | (特征 → 已知正确答案) | (状态 → 行动 → 奖励) |
| 反馈 | 立即、明确 | 延迟、可能稀疏 |
| 目标 | 拟合标签 | 累积奖励最大化 |
| 经典应用 | 分类、回归 | 游戏、机器人、对话 |
监督学习教模型"应该怎么答"；RL 教 Agent"应该怎么试"。
RL 的核心三要素
1. 状态（State）
当前环境的所有可观测信息——在交易里可能是价格、订单簿、技术指标、持仓。
2. 行动（Action）
Agent 可以做的事——买入 / 卖出 / 持有 / 改变仓位大小。
3. 奖励（Reward）
环境对行动的反馈——通常是已实现收益 + 风险调整项。
经典算法：Q-learning、Deep Q-Network (DQN)、策略梯度、PPO。
AlphaGo 启示与金融的天差地别
AlphaGo 在 2016 年击败李世石，是 RL 的里程碑。但围棋有金融市场没有的特征：
| 围棋 | 金融市场 |
|---|---|
| 规则不变 | 规则不断变（监管、参与者、技术） |
| 完全可观测 | 部分可观测（私有信息、暗池） |
| 可无限模拟 | 真实数据有限，模拟不完美 |
| 不影响环境 | 你的交易会影响价格（市场冲击） |
| 奖励即时 | 奖励延迟、稀疏、嘈杂 |
AlphaGo 可以自我对弈千万局；交易 Agent 无法"自我交易"——市场只走一次。
RL 在交易里的真实应用
1. 最优执行（Optimal Execution）
大单拆解：怎么把 100,000 股拆成若干小单，在指定时间内最小化市场冲击成本。这是 RL 最成熟、最被业界使用的场景。
2. 做市商报价
动态调整买卖报价以平衡库存风险与点差收益。
3. 投资组合再平衡
什么时候、以多大比例调整组合，使长期累计夏普率最大化。
4. 高频策略
微秒级决策——但需要极高质量的环境模拟器。
RL 在金融的特殊挑战
1. Sim-to-Real Gap（模拟到实盘的鸿沟）
模拟器里赚钱 ≠ 实盘赚钱。市场冲击、对手反应、延迟，模拟器都难以准确还原。
2. 非平稳环境
今年学到的策略，明年可能因市场结构变化失效。
3. 探索成本巨大
RL 需要"试错"才能学习。但在真实市场试错 = 真金白银亏损。
4. 奖励工程难
"最大化收益"是一个糟糕的奖励——会让 Agent 倾向极端杠杆。设计平衡风险的奖励函数本身就是研究领域。
重要问题
散户能搭一个 RL 交易 Agent 吗？
能搭出"在模拟器里漂亮"的 Agent；能搭出实盘稳定盈利的 Agent 极难。入门玩具版可以用 OpenAI Gym 的金融环境学习概念。
RL 真的比监督学习好？
不一定。多数交易问题用监督学习 + 规则化执行就够了。RL 适合决策序列长、动作空间复杂的问题（如最优执行）。
ChatGPT 的 RLHF 与交易 RL 有关系吗？
理论框架同源（都是 RL），但目标完全不同。RLHF 是用人类偏好作为奖励信号，主要用于对齐语言模型。
答题
Q1. 强化学习与监督学习的核心区别是？
A. RL 不用数据 B. RL 通过状态-行动-奖励的反馈循环学习决策；监督学习从已标注数据学映射
C. 监督学习更新 D. 两者完全相同
Q2. RL 在交易领域最成熟的应用是？
A. 长期持有 B. 最优执行（大单拆解、最小化市场冲击）
C. 预测明天涨跌 D. 选股
Q3. 为什么 RL 在金融比在围棋难？
A. 围棋更复杂 B. 金融市场非平稳、奖励延迟、模拟器不完美、自身交易影响环境
C. 没有 GPU D. 数据太多
参考答案
Q1: B Q2: B Q3: B
延伸阅读：Wikipedia: Reinforcement Learning · Wikipedia: AlphaGo · OpenAI Gym · Wikipedia: Algorithmic Trading — Optimal Execution
本内容仅用于教育目的，不构成投资建议。RL 模型实盘风险极高，研究阶段成果不代表可盈利。
拿一份下单前检查表。
我们正在把这些指南做成可搜索的检查工具：查术语、看规则、算风险，先看懂再交易。