三类核心数据
1. 行情数据(Market Data)
价格、成交量、订单簿、交易明细。
2. 基本面数据(Fundamentals)
财报、估值比率、行业指标。
3. 另类数据(Alternative Data)
非传统数据源——任何能反映商业活动的信号:
- 卫星图(数停车场车辆、油轮、农作物)
- 信用卡刷卡聚合
- 招聘网站岗位数
- 应用商店下载量
- 网页爬虫(电商价格、用户评论)
- 社交媒体情绪
行情数据的隐藏陷阱
1. 拆股 / 分红调整
"前复权"vs"后复权"vs"未复权"——三种价格意义完全不同。混用会让回测严重失真。
2. 时区与对齐
美股日线"收盘价"是 16:00 EST。比较跨市场时,必须明确所有数据用同一时区。
3. 节假日
节日不交易,前/后日的"收益率"算法需特殊处理。
4. 退市股
做回测必须有 survivorship-free 数据集——只用还在的股票会高估收益。
基本面数据的隐藏陷阱
1. Point-in-Time(时点准确)数据
EPS 数据:今天看历史的 EPS 是修订过的,但当时市场只知道未修订的版本。用"当时已知"的 EPS 才能避免未来函数。
2. 财报公布时滞
Q3 财报通常 10 月底-11 月初公布——不能用 9 月末的财报特征预测 10 月初的股价。
3. 会计科目重新分类
GAAP 和 IFRS 准则不断更新,跨多年比较时需注意可比性。
另类数据:是金矿还是陷阱?
机构在另类数据上花费数十亿美元。但它远非"AI 万能钥匙":
真实案例:
- 某基金用卫星数据数 Walmart 停车场车辆 → 预测季度收入 → 财报前建仓 → 数月超额收益
- 但随着越来越多机构使用同一数据源,alpha 衰减到接近零
另类数据的核心规律:最早用的人有 alpha,跟随者只有信号噪声。
数据清洗的几个必做动作
原始数据 → 缺失值处理 → 异常值检测 → 时间对齐 → 特征构造 → 标准化
常见问题:
- 缺失值:节假日、暂停交易、数据源故障——不能简单用 0 填充
- 异常值:闪崩、错单——保留还是剔除取决于策略目的
- 跨源对齐:A 源用 UTC、B 源用 EST、C 源用本地交易所时间——必须统一
- 去重:同一笔交易在 Level 1 和 Level 2 数据里都出现
数据质量评估的"四问"
- 来源:数据从哪里来?是 primary source(官方)还是 secondary?
- 延迟:实时还是有延迟?延迟多少?
- 覆盖:包含哪些证券、哪段时间?有没有 survivorship 问题?
- 修订历史:数据被修订过吗?能拿到当时的原始版本吗?
四问任一不通过,这份数据进入模型前必须重新评估。
重要问题
散户能用什么质量的数据?
免费的 Yahoo Finance 数据用于学习足够,但有 survivorship、调整、延迟等问题。中小付费源(如 Polygon、Alpaca)相对实惠。机构级数据成本通常上万美元/年起。
另类数据值得投入吗?
对个人或小团队,性价比很低——主流另类数据被机构买空了。除非你有独特的、别人没有的数据源(比如你自己的电商运营数据),否则不值得。
怎么验证数据没问题?
基本动作:可视化随机样本、与第二个独立数据源对比、检查缺失值分布、计算每日数据量是否合理。任何工程严谨的研究都从"看数据"开始,不是"建模型"。
答题
Q1. 关于行情数据的"复权",下列哪项正确?
A. 复权无关紧要 B. 前复权/后复权/未复权三种价格意义完全不同,混用会严重失真
C. 必须用未复权 D. 复权与拆股无关
Q2. Point-in-Time 数据的价值是?
A. 加速计算 B. 反映"当时已知"的信息,避免未来函数
C. 提高精度 D. 与机器学习无关
Q3. 关于另类数据的 alpha 衰减,下列哪项最准确?
A. alpha 永不衰减 B. 最早使用者有 alpha,随采用率上升 alpha 衰减至接近零
C. 越多人用越赚 D. 与机构无关
参考答案
Q1: B Q2: B Q3: B
延伸阅读:Wikipedia: Alternative Data (finance) · SEC EDGAR · FRED — 圣路易斯联储经济数据 · Wikipedia: Survivorship Bias
本内容仅用于教育目的,不构成投资建议。数据质量直接影响交易决策结果,使用前请谨慎评估。
拿一份下单前检查表。
我们正在把这些指南做成可搜索的检查工具:查术语、看规则、算风险,先看懂再交易。
