监督机器学习
学习可检验的预测关系
- 训练依据
- 已知特征与历史标签,例如未来 5 日收益;标签只在对应未来区间结束后用于训练。
- 量化位置
- 因子合成、收益排序、波动预测。先输出分数,再由组合与交易政策决定仓位。
- 主要检查
- 时点泄漏、标签重叠、时间切分,以及样本外 IC 和扣成本后的结果。
TONEME · RESEARCH & DATA FRAMEWORK
研究构想 · 讨论稿看见结果,追溯决策,
把研究过程转化为训练数据。
复利计算;首尾月份可能不完整。窄屏可左右滑动。
基准为同一沪深 300 ETF 买入持有;双方均计入 5 bp 手续费与 2 bp 滑点。收益按复权等价份额计算,不等于实际分红现金账本。
| 订单 / 日期 | 资产 | 方向 | 数量 | 复权成交价 | 手续费 | 状态 |
|---|
真实系统还需记录提示与代码版本、工具参数、数据时点、请求 ID、拒单 / 部分成交 / 撤单及对账差异。LLM 编排研究和工具,确定性执行器负责校验与下单。
沿用本机已有 EMA 50 / 200 规则。前日快线高于慢线时持有,反向时退出;下一交易日开盘执行。
完整窗口 2014–2025;未跑赢同资产基准,最大回撤也未改善。没有搜索参数;可追溯空仓阶段、交叉信号与交易成本。
全期 1,311 / 2,919 日为空仓,约 44.9%;最长空仓从 2021-12-30 至 2024-06-05,共 587 个交易日。EMA50 不高于 EMA200 时不持有 ETF,退出后现金收益设为零,因此净值保持水平;卖出当天仍计价格变动与成本。
已核对信号、持仓和账本,未发现绘图错误。这条简单规则会滞后、错过反弹,也可能在交叉附近反复交易;空仓本身不代表更好的风险控制。拖动日期可查看当时的均线依据。
本机 ETF 日线归档:510300.SH,2012-05-28 至 2025-12-31;日线与复权因子按证券和日期一一匹配。2014 年之前用于预热,2014–2025 为固定评价窗口。EMA 使用递归权重 2 / (N + 1),50 / 200 日参数沿用本机 QFBench 的 momentum-backtest 策略定义;原任务使用 SPY,本页明确改为沪深 300 ETF。
使用前一交易日收盘后的快慢线状态,下一交易日开盘成交;没有同日收盘信号同价成交。首次入场按前日状态初始化;后续只在状态切换时交易。手续费 5 bp、方向滑点 2 bp,现金收益为 0;无杠杆。期末按收盘估值,双方均不强制平仓。
使用原始开收盘价 × 当日复权因子得到复权等价价格,允许小数等价份额。它近似公司行动再投资,不是实盘股数、逐笔分红或税务账本。未模拟涨跌停、排队、整手、冲击容量与经纪商最低收费;有日线不代表必能按该价格成交。
原始归档只读,来源哈希、固定协议、逐日权益及订单保存在研究包。独立收益算法与账本核对,且通过未来截断检查。这是回溯研究,未进行封存样本外实验;真实行情回测不能证明未来优势。年化按 252 日,无风险利率为 0,容量与 PSR 未估计。
1M / 3M / 1Y 为末尾 21 / 63 / 252 个交易日;ALL 为完整窗口。回撤从所选区间期初计算。短区间年化不构成预测;63 日滚动统计预热不足显示缺失。年度收益表用于检查阶段差异,不用于挑选展示区间。
策略定义:QFBench · EMA crossover。界面参考 QuantStats、QuantConnect 与 LEAN;本页使用独立回放代码,不运行这些引擎,不连接交易账户。
COMPOSABLE QUANTITATIVE RESEARCH
经济来源决定研究假设,方法决定如何发现信号,组织与执行决定如何承担风险。组合需要满足数据、经济逻辑与执行条件。
选择节点检验适配关系 · 悬停或聚焦查看组件定义;灰色表示需额外设计或非典型应用
监督学习学习“输入与目标的关系”,强化学习学习“行动及其长期后果”;深度学习提供多层神经网络,可用于两者。它们是可组合的工具,不是三个互斥流派。
学习可检验的预测关系
学习多层表示与非线性关系
学习受约束的序贯动作
LLM 本身通常基于深度网络;Agent 描述其调用工具、安排实验和解释结果的系统角色。交易策略的 RL 与 LLM 后训练的 RL,训练对象和奖励协议不同;调用一次回测工具并不会自动更新 LLM 权重。
方法依据:scikit-learn · 监督学习 · Deep Learning · 模型表示 · Sutton · 状态、动作与奖励。图中量化用途是本框架的任务映射。
| 研究方法 | 多因子 | 统计套利 | CTA | 做市 / HFT |
|---|
左右滑动查看完整矩阵
技术适配关系示意,不是成功率或盈利能力排名。LLM Agent 的常见应用指研究与工具编排;做市与高频执行仍依赖专用基础设施。遗传编程 GP 与高斯过程回归 GPR 是不同方法。
| 研究主题 | 核心假设与典型任务 | 需要验证的关键问题 |
|---|---|---|
| 截面多因子 / Quantamental | 利用估值、质量、动量、基本面及其他特征,对资产进行排序和组合配置。 | 信号是否只是行业、规模等风险暴露;数据是否在当时可获得;换手后是否仍有效。 |
| 趋势跟随 / CTA | 利用价格走势的持续性,在不同资产与期限上建立趋势头寸。 | 震荡期损耗、趋势转折、跨市场稳定性,以及仓位和退出规则的影响。 |
| 均值回归 / 统计套利 | 识别相对定价偏离、价差关系或短期反转,等待关系回归。 | 关系是否仍成立;对冲是否有效;结构变化、融资与交易成本是否消除优势。 |
| 事件驱动 | 围绕公告、业绩、公司行动或宏观事件研究价格反应。 | 事件首次可见时点、修订记录、延迟与事件样本选择是否造成事后偏差。 |
| 做市 / 微观结构 | 利用买卖价差、订单流及库存管理提供流动性或优化交易。 | 排队、部分成交、撤单、延迟、逆向选择与市场冲击能否被可信重放。 |
| 波动率 / 衍生品相对价值 | 研究隐含与实现波动、期限结构或合约之间的相对定价。 | 模型假设、尾部风险、对冲误差、保证金与完整交易成本。 |
| 系统化配置 / 风险溢价 | 按风险、宏观状态或长期风险溢价配置资产,并控制组合暴露。 | 收益是否为承担风险的补偿;相关性变化、杠杆和再平衡是否稳健。 |
这些主题跨越经济来源与组织方式,彼此可以重叠;用作研究检查清单,不构成另一套互斥分类。
研究平台回答“如何发现和验证策略”;运行系统回答“此刻依据什么信息、采取什么动作、承担多少风险”。现代框架需要把两者接起来,并让风险和治理贯穿整个过程。
RESEARCH PLANE / DECISION PLANE / CONTROL PLANE
波动、趋势、流动性及市场结构是否变化。
误差、区间覆盖和数据分布是否偏离训练环境。
现金、持仓、保证金、组合暴露与累计回撤。
数据是否新鲜、订单是否完成、服务是否可用。
| 环节 | 需要明确的内容 | 可审阅的产物 |
|---|---|---|
| 01 研究任务 | 市场、资产池、频率、收益目标、风险预算和禁止事项。 | 任务协议与比较基准 |
| 02 数据基础 | 数据来源、事件时点、首次可见时点、修订与样本选择。 | 版本化数据与时点审计 |
| 03 机制与假设 | 经济理由、适用环境、预期失效条件,以及简单对照。 | 假设卡与基线定义 |
| 04 特征与模型 | 标签、特征、训练窗口、估计误差及允许的再训练规则。 | 可执行代码和模型版本 |
| 05 验证与选择 | 时序切分、搜索预算、稳健性、成本敏感性与多重尝试。 | 全部试验及选择依据 |
| 06 组合与风险 | 从信号到权重;相关性、容量、集中度和资金约束。 | 组合规则与风险状态机 |
| 07 执行与核算 | 订单类型、成交假设、成本、持仓和现金更新。 | 订单、成交、持仓与损益账本 |
| 08 归因与迭代 | 收益来源、失效分析、上线条件与后续监控。 | 独立评估和变更记录 |
所提供材料描述了一种自适应趋势系统:用 ATR、ADX 等特征识别市场状态,以高斯过程回归(GPR)产生预测,再把模型可靠性、持仓管理和风险停机连接起来。它为运行时框架提供了具体案例,但材料本身不足以证明完整源码可复现或长期超额收益。
GPR 可输出预测均值与不确定性;在固定核参数与噪声设定下,预测方差不会仅因近期预测错误而自动扩大。残差监测、预测区间校准与分布漂移检测,需要单独设计和验证。GPR 也不同于遗传编程(GP)。[6]
持仓生命周期应区分开仓、加仓、减仓、退出、冷却与恢复。截图中的“逆势加仓”与“顺势再进场”是不同机制,不能互换;放宽止损距离时,还要重新计算总头寸风险。ATR、ADX 阈值和分段止盈参数属于策略设定,不是普遍适用的常数。
研发中还需检验信号重绘、当根 K 线信息越界及成交假设。模型看见的市场状态,必须只使用决策时刻已知信息;历史上看起来有效的状态划分,也可能包含未来信息。[7]
前五层描述研究任务的完整性与自主性;可观测性与执行器贯穿研究、回测和运行。每层都明确 LLM 的责任与验收产物。
| 层级 | 能力边界 | 典型任务 | LLM 的作用 | 主要验收对象 |
|---|---|---|---|---|
| Layer 1 | 金融知识与计算 | 解释概念、计算风险与定价指标 | 解释与推导 | 概念、数值、适用前提 |
| Layer 2 | 可执行量化代码 | 实现因子、策略与回测 | 编写与调试 | 语义、时间对齐、数值正确性 |
| Layer 3 | 完整因子挖掘 | 生成、评估、筛选、优化 Alpha | 提出假设,调用实验 | 有效性、筛选依据、泛化 |
| Layer 4 | 完整策略设计 | 从目标形成策略、组合与风控 | 组合模块,补全约束 | 经济意图与行为完整性 |
| Layer 5 | 封存式自主研究 | 有限反馈迭代,冻结后独立评估 | 规划搜索,依据证据选择 | 预算纪律、独立样本外结果 |
| Layer 6 | 可观测性 | 追踪数据、模型、账户与运行状态 | 编写监控,解释异常与归因 | 时点、版本、日志、可重放链路 |
| Layer 7 | 执行器 | 打通行情、交易软件与程序化下单 | 编写工具与接口适配器 | 风控校验、幂等、成交与对账 |
左右滑动,查看 LLM 责任与验收对象
理解 → 实现 → 挖掘 → 设计 → 自主研究
记录与诊断 ↔ 工具与接口 ↔ 账本核对
本页采用的工程框架,不是行业统一难度等级。Layer 6 与 Layer 7 可独立建设,也可组合到前五层。LLM 负责生成与编排工具,订单由受约束的确定性程序执行;具备自动化接口不等于具备有效投资策略。
AI CAPABILITIES & EMPIRICAL EVIDENCE
AI 可以进入预测模型、研究工具和自主研究流程。不同位置需要不同的能力,也需要不同的评价。金融知识、代码运行和投资有效性,应分别验证。
误差 · 校准 · 稳定性
语义 · 工具 · 修复
信息边界 · 证据 · 泛化
本项目的数据构造重点是后两类。LLM 可以生成和改进数值策略,由确定性引擎执行历史事件;AI-native 系统不要求 LLM 对每个 tick 直接下单。
同为量化评测,有的考知识与代码,有的考因子搜索,有的考冻结策略后的独立表现。先明确评价对象,再判断其结果能否迁移到我们的系统。
| Benchmark / 官方资料 | Layer 1知识计算 | Layer 2可执行代码 | Layer 3因子挖掘 | Layer 4策略设计 | Layer 5封存研究 | Layer 6可观测性 | 复现与迁移的关键门槛 |
|---|---|---|---|---|---|---|---|
| QuantEval ↗ | ● | ● | — | ○ | — | — | QA、推理与框架内策略编码;需对齐专家参照及 CTA 引擎,不能直接推定自主研究能力。 |
| QFBench ↗ | ● | ● | ○ | ○ | — | ○ | 覆盖按单题变化;容器、源资料、Oracle 与输出接口都需验证,不能按最长代码给整库升层。 |
| AlphaQT-Bench ↗ | ○ | ● | — | — | — | ○ | 检查指令代码、时间因果和状态语义;依赖参考实现与约束。它的自有 Level 不等于本页 Layer。 |
| BacktestBench ↗ | ○ | ● | — | ○ | — | — | 需建 PostgreSQL、装入行情与指标表并对齐 SQL / Python 计算;执行成功不保证数值正确。 |
| AlphaBench ↗ | — | ○ | ● | — | — | ○ | Qlib / Assay、算子、股票池与因子评价器必须锁定;替换后端可能改变结果,迭代搜索不自动满足封存研究。 |
| AlphaEval ↗ | — | ○ | ● | — | — | ○ | 偏重因子评价框架;需准备 Qlib 数据及模型专用算子。诊断指标不等于完整生产监控。 |
| AlphaForgeBench ↗ | — | ○ | ○ | ● | — | ○ | 行情和参考输出位于独立数据包;股票静态数据无法通过 Binance 管线重建,需固定生成与回测配置。 |
| Quant-Arena ↗ | — | ○ | ○ | ○ | ● | ○ | 封存数据、官方服务与版本化评分不可缺;论文明确样本外组合规则不公开,独立实现不能声称官方同分复现。 |
| KTD-Fin ↗ | — | — | ○ | ○ | — | ○ | 侧重序贯交易、遮蔽与归因;不要求提交冻结策略。原遮蔽映射、Qlib 修改及风格暴露未在本地完整取得。 |
| AlphaOpsBench ↗ | — | ○ | — | ● | — | ○ | 策略语义、成交与结算证据是重点;论文附录 A 仍称录用后公开,本地未取得原验证器和完整回放包。 |
左右滑动查看 Layer 1–6 与复现门槛
映射是按公开任务协议作出的本页判断,不是作者官方分级,也不沿层级自动继承。○ 表示相关局部能力或评测工具提供的证据,不等于模型已具备该层能力。Layer 6 的日志、归因或诊断,多数只是部分支持;没有一行据此宣称完整覆盖生产可观测性。
授权、历史成员、复权、首次可见时点、盘口与结算证据。
可下载行情 ≠ 拿到原评测数据。算子、数据库、交易日历、成交顺序、成本与现金更新。
代码可运行 ≠ 经济行为一致。提示、模型版本、工具权限、搜索预算、切分与冻结规则。
相同任务名 ≠ 相同研究机会。Oracle、容差、未验证项、分母、评分版本及原始轨迹。
相近总分 ≠ 复现了相同能力。因此,交付需要区分原版复现、协议重建、独立替代实现。缺少关键组件时,先报告差异与可验证的子集;更换数据、引擎或规则后的结果,不能直接与原榜单比较。
给定策略的回测与数值计算
论文表 1 · 合成任务集
Gemini 3 Pro 的两项结果说明,工具执行成功与业务结果正确之间仍存在差距。时间边界、收益序列及统计口径需要单独验证。
边界:不同任务指标,分母不相同;MC 采用论文的严格数值匹配口径。结果不能解释为完整策略的盈利概率。[1]
因子生成、评价与搜索
FactorEval 任务
项目把零样本因子评价列为当前模型较弱的能力:不给执行回测机会,让模型直接判断候选因子的质量,结果并不可靠。
边界:这一结论针对无回测反馈的评价设置,不能推导为“有数据、有工具、有试验反馈的 Agent 也无法研究因子”。[2]
有限反馈的自主研究
封存的 2024 年评估窗口
论文表 2 的 38 个迭代配置中,有 1 个配置超过其等权市场基准。最高总分配置并非该配置;较好的风险控制与较低市场参与度可以同时出现。
边界:特定市场、时期、账户和成本协议下的结果;不应概括为“所有模型均无法超越市场”,也不能把一个配置的结果推广到其他时期。[3]
记忆控制与收益归因
CSI300 · 价格信息环境
在论文的归因模型下,多数受测 Agent 的累计收益不能被解释为稳定的选股能力。隐藏股票身份与日期,也会改变其研究理由。
边界:Selection Alpha 依赖所用的 Barra-style 归因模型及信息范围;该结果不是对所有数据条件、模型或资产类别的统一判断。[4]
预测市场策略落地
独立完整生成 · 受控任务
该实验检验从经济描述、设计补全到执行行为的完整链路。成本与资金约束还可能改变后续交易路径,不能一律作为回测后的扣减项。
边界:Qwen3.8-27B、关闭 thinking;36 道受控任务各 5 次独立尝试的汇总,并非 Pass@1。未验证项另报,不能当作已证实失败;不能据此推断前沿模型整体能力。[5]
以下是结合上述证据形成的研究判断。低分可能来自不同机制,需要逐项诊断,不能只用“模型不懂金融”解释。
当日收盘后才可见的信息、停牌后的可交易性、资金占用与合约结算,都可能改变答案。代码语法正确不足以证明金融语义正确。
小幅优势容易被噪声覆盖,历史关系也可能失效。一次回测胜出不能充分区分技能、偶然性和特定市场环境。
反复试验并挑选最优结果,会提高发现偶然好结果的概率。需要记录全部尝试、控制搜索预算,并保护独立评估窗口。
因子相关性不直接等于组合收益;组合收益不直接等于选股 Alpha。持仓、成本、容量及风险预算决定信号如何转化为结果。
市场、模型、账户和系统状态同时变化。错误的现金更新、重复订单或失效恢复,会让后续正确计算建立在错误基础上。
只奖励最终收益、固定格式或单一评分器判断,会掩盖泄漏、风险暴露和错误行为。训练需要可解释、可复核的多维反馈。
关于大量策略搜索与回测过拟合的统计问题,可参阅 The Probability of Backtest Overfitting。具体评测中的失败根因,仍应回到原始轨迹和行为证据确认。
WHAT MAKES TRAINING DATA DIFFICULT
后训练需要能够改善行为的样本。量化任务的难点,是同时建立真实的研究问题、充分但不过度的输入、可信评价,以及对真实模型错误的解释。
两组试验提供了明确的反证:增加状态数量、计算规模和评分断言,并不足以构成对强模型有效的挑战。它们属于构造过程中的诊断结果,不代表后训练收益。
真实提交均为 100 分。20 份新增有效提交中,另有 14 份属于 R00 基线,不能混作正式增难轮次。
结论:这些候选未证实预期难度。[8]
有效提交均为 100 分。修复了部分绕过考点的捷径后,模型仍能正确完成;没有形成已验证的低分难题。
结论:输入设计与能力目标需要重新校准。[8]
真正增加难度,需要让模型承担新的识别、建模或决策责任。更多计算、更多文件或更严的检查,如果没有改变模型实际要做的工作,就无法构成有效增难。
状态、转移规则和目标都已给定,模型可用一段程序遍历。增加计算量,主要考验工具使用,未增加业务判断责任。
内部反证:银行题五题六轮正式提交均为 100 分;机制复杂度未转化为已证实的自然失分。
改构造:让模型依据原始业务事实确定必要状态、边界与目标;仍保留能唯一确定答案的条件。
验效果:看真实轨迹是否在目标建模环节失误;若全部通过,承认该机制未增难。
去掉公式仍可能保留答案路径。预先整理的经济事实键、时点和记录顺序,会提前完成关系识别与状态重建。
具体捷径:按行序取值、完全不读日期,也曾通过 PIT 时点题。
改构造:逐条证明 Input 的必要性,并从 Source / Oracle 反查是否泄露派生结果或缺关键口径。
验效果:保持事实与答案不变,打乱行序、改变布局;正确方法应稳定,捷径应暴露。
时间计量错误与资金目标选择错误,可能使用相似名词,却依赖不同信息和决策。把一个低分机制换壳,不能推定失分会迁移。
需对齐:错误触发条件 → 缺失判断 → 后续影响。
改构造:从原生轨迹提取错误机制,明确哪些条件在新题中必须保留。
验效果:新题独立试测、保留全部 attempt;只有出现同机制自然错误,才能声称迁移成立。
人为写错后扣分,证明断言有效。它不能证明模型会自然犯错;中途犯错后自行修复,也不能当作最终能力失败。
Canary r01 修复捷径后,三题各两次仍全部 100 分:评分覆盖改善,任务却仍未达到增难目标。
改构造:并行保留“评分器有效性”和“真实模型难度”两条证据链。
验效果:人工错误命中预期断言;真实提交另做归因,记录自纠过程、成功与失败的完整分母。
在尚无真实失分的方向上反复加断言、打磨小数和封装交付,会积累工程工作,却没有证明训练价值。
候选价值先于规模生产;检查精度服务业务结论与验收容差。
改构造:先审业务必要性、最小充分输入及预期能力缺口,再做小规模真实试测。
验效果:证据门槛通过后才扩建;无效候选保留记录并淘汰,不挑选低分、事后调权或把环境故障算成难度。
以上为构造复盘和真实试测结论;不是后训练收益证明。证据定位见内部试验记录 [7–9]。样本价值仍需通过独立训练与迁移评估确认。
先验证任务,再解释模型
语义 / 决策错误 → 因果修复 → 核实影响
可形成候选训练信号基准 / 风险 / 成本 / 搜索次数 → 归因
需进一步区分技能与环境歧义 / Oracle / 接口 / 服务失败 → 修复
不计为金融能力缺口| 观测到的情况 | 如何判断 | 能否作为能力缺口证据 |
|---|---|---|
| 金融语义或研究决策错误 | 输入充分、协议清晰;轨迹和输出定位到具体错误,修正该错误能解释结果变化。 | 可以,但需说明影响范围与重复稳定性。 |
| 回测结果较差 | 核查风险暴露、基准、成本、市场状态、搜索次数及样本外不确定性。 | 可能;单次亏损不足以证明推理失败。 |
| 输入歧义或 Oracle 错误 | 存在合理替代解释,或标准答案与真实资料的口径、时点不一致。 | 不能。应修复任务,保留版本,重新解释原成绩。 |
| 评分接口或格式问题 | 区分有效业务交付、指定接口要求与无关格式约定;检查评分是否漏读了正确产物。 | 只有与目标能力直接相关的部分才可计入。 |
| 服务容量、容器或资源失败 | 没有产生可评分的有效提交,单独报告失败类别和有效分母。 | 不能记成金融能力 0 分。 |
表格可左右滑动
事实审计同样重要:时点资料若漏掉更早已公开的更正公告,即使两套计算结果一致,也只能证明它们对同一份不完整材料一致。Source 的完整性需要独立核查。
在既有财务建模试验中,一份 Astra 真实提交把按实际日历天数计量的年度费用改成了等额按月分摊,首次有效自然分为 95.8026。对相关公式进行因果修复后,35 项失败断言恢复,诊断分达到 100,且没有新增失败。
这支持“年度计量单位在期间模型中被错误转换”这一具体判断。修复后的 100 分是反事实诊断,不是新的自然提交;它也没有证明相同错误一定会迁移到量化研究或银行授信题。新任务仍需保留真实业务依赖并独立试测。[8]
SOURCE → ORACLE → CONTRACT → VERIFIER → TRAJECTORY
业务资料、时间边界、数据版本与可用性。
确定性答案,或开放任务的参考基线与可接受行为。
清晰的输入、输出和边界,保留模型的建模责任。
评分断言、行为检查及与业务后果的对应关系。
自然错误、自检、修复与最终交付。
保留业务事实、单位、时间、范围和输出定义;对可给可不给的信息要求必要性证明。既要逐条检查条件,也要整体检查字段命名、排序、样例和文件布局是否已经暗示解法。
计算任务可以要求唯一数值。研究任务允许多个合理策略,但应固定预算、信息边界、经济约束和比较协议;不能把作者偏好的唯一策略设为隐含标准答案。
识别信息不足、否定无效假设、主动停止无依据的搜索,都是研究能力。只有明确给出依据与边界,才适合作为训练目标。
完成样例和评测,只是具备了候选训练资产。需要把训练前后模型放在独立任务上比较,才知道提升来自专业能力、工具熟练度,还是对题目模板的记忆。
DESIGNING DATA, TASKS & ENVIRONMENTS
把研究工作拆成有信息边界、可执行、可观察、可评价的任务。原始数据、运行环境、任务协议和训练资产共同构成产品,并通过样例研发逐步验证。
一条训练样本可以来自某次特征设计、一次策略修复,也可以来自完整研究任务。其基本单元应包含当时可见的材料、模型采取的动作、环境反馈及可核验结果,才能回答“为什么这个动作值得学习”。
DATA / ENVIRONMENT / TASK / EVALUATION / LEARNING
版本化数据、PIT 快照、数值工具、市场规则、执行账本与可重放的初始状态
研究目标、公开输入、模型责任、预算与交付边界
假设、代码、工具调用、决策状态与环境反馈
正确性、研究证据、经济行为及自然错误归因
验证过的示范、可比较偏好对和可重置环境
在明确预算下试验、诊断与改进。记录所有候选、修订和筛选依据,避免只保留获胜样例。
冻结代码、参数与允许的再训练规则。封存窗口不参与策略选择;最终评测任务也不进入训练材料。
| 记录类型 | 关键内容 | 用途 |
|---|---|---|
| 原始事实与版本 | 行情、公告、事件、公司行动、首次可见时间和更正链。 | 重建当时已知世界,追查数据来源。 |
| 特征与模型版本 | 特征定义、标签、训练窗口、模型产物及依赖版本。 | 定位每个预测来自哪一套研究设定。 |
| 决策时点快照 | 可见市场信息,以及市场、模型、账户、运行四类状态。 | 解释同一预测为什么对应不同动作。 |
| 动作与交易账本 | 下单意图、风控否决、订单状态、成交、费用和现金持仓。 | 重放执行路径,检验行为及核算。 |
| 研究过程与轨迹 | 假设、代码、工具调用、反馈、失败候选和最终选择。 | 提取专业研究行为及错误修复样本。 |
| 评价与审计记录 | 评分版本、断言、自然失分、有效分母和独立验证结果。 | 区分真实能力、环境问题与评价偏差。 |
现有 Agent 轨迹基础设施可以继续复用。研究轨迹说明模型如何完成任务;交易账本说明策略如何产生金融后果,两者需要关联,不能互相替代。
资产池及历史成员规则、可访问字段、数据版本、时间区间、时区与交易日、预热期、开发与封存窗口、初始账户状态、费用及成交模型、允许的动作、风险约束、工具和搜索预算、随机性管理、输出接口,以及失败状态的统计方式。
已明确的经济事实由任务提供;需要研究的选择由模型完成。可以公开验收规则和业务约束,但不提供未来派生结果、逐年答案序列或作者整理好的解题步骤。开放研究不要求唯一策略,评价协议必须明确。
FACTOR & FORECAST
从经济假设出发,完成特征、标签、基线和因子筛选;检验稳定性、冗余、时点一致性与样本外表现。需要保留无效假设和放弃理由。
典型交付
因子代码、实验记录、筛选依据与独立验证报告
核心范围:Layer 3
STRATEGY DESIGN
把研究目标转为状态识别、预测、交易决策、持仓管理和风险规则。比较简单基线与复杂方案,检查成本和资金约束如何影响路径。
典型交付
策略实现、行为测试、执行账本与限制说明
核心范围:Layer 4 / 有限 Layer 5
AUDIT & REPAIR
面对已有研究包,识别信息泄漏、错误归因、状态更新或执行假设问题;定位根因、提出最小修复,并通过对照重放解释影响。
典型交付
证据定位、修复代码、对照结果与结论修订
跨 Layer 2–Layer 5 的任务形式
选题矩阵:能力层级 × 系统模块 × 市场场景 × 任务形式 × 数据粒度。它用于检查覆盖与空白;维度组合数量不能直接当作独立样本量,也不承诺所有组合都适合生产。
以“状态自适应的日频趋势策略”为候选主题:研究状态识别与预测可靠性,是否能在共同风险和成本约束下改善简单趋势基线。下面展示任务责任如何变化,尚未形成可交付的正式题目。
选择层级,查看输入、决策责任与验收变化
三种层级沿用同一主题,但任务输入和模型责任不同。该示例用于说明构造方式,不是已验证难度或收益的样例展示。
相同的预测方向,在不同的模型可靠性、账户和运行状态下,可以对应不同动作。训练数据需要保留这些条件与动作之间的关系,才能覆盖“什么时候不应继续交易”的判断。
概念示意 · 每个场景只展示一种可能的政策规则
SIGNAL → RISK CHECK → ACTION
在趋势信号、模型可靠性和可执行性都满足已定义规则时,按风险预算形成目标头寸。预测方向只构成决策输入,不能单独决定下单规模。
MODEL RELIABILITY → EXPOSURE CONTROL
预测残差或区间覆盖偏离预设标准时,可按既定政策暂停新增风险、减少头寸或进入观察。不能仅凭模型自报“高置信度”就继续放大仓位。
EXECUTABILITY → ORDER POLICY
价差、冲击或可用流动性改变后,可按已定义规则缩小订单、延后或取消。成本会改变现金、成交量和后续动作,因此需要重放整个路径。
RISK OVERRIDE → LOCK → RECOVERY
账户触发冻结的风险阈值后,执行减仓或退出政策,锁定新增风险;退出请求是否成交仍需核对。恢复必须满足明确条件,不能由下一次看涨信号直接解除。
评价需要同时看系统是否做对、研究结论是否有依据,以及在给定市场条件下产生了什么后果。单一综合分可以用于约定场景,但底层分项、有效样本数与失败原因必须保留。
空仓、低换手或保守策略是否合理,取决于任务目标和基准。评价应防止只靠减少暴露得到高分,也不应因合理控制风险而机械惩罚“不交易”。
| 资产 | 候选内容 | 准入条件 |
|---|---|---|
| SFT 示范 | 有证据支撑的研究、实现、审计和修复过程。 | 关键动作与结果已验证;不把错误但流畅的解释当作示范。 |
| 偏好数据 | 同一输入与约束下可比较的两个方案或局部动作。 | 优劣依据可说明;控制预算、风险和环境差异,避免只按单次 PnL 排序。 |
| RL 任务环境 | 可重置、可重放、具有动作和反馈接口的研究任务。 | 奖励与目标一致;通过投机取巧检查;区分合法负面结论与真正失败。 |
| 独立评测集 | 未用于构造选择和训练的任务、来源或后续时间窗口。 | 按相关性分组隔离,控制模板、资产和时间重叠;持续审查污染。 |
环境中完成更多回测,属于 Agent 的研究过程;它本身不等于更新了 LLM 权重。是否产生后训练收益,应由独立的训练与评测对照确认。
| 范围 | 当前定位 | 交付前提与限制 |
|---|---|---|
| 现有技术基础 | 复用任务运行、原生轨迹、确定性评分和数据版本管理经验。 | 可以作为研发起点;已有基础设施不等于已拥有成熟的量化难题库。 |
| Layer 3 / Layer 4 核心任务 | 优先建设因子研究、策略设计与审计修复样例。 | 需先完成数据、环境、评价与真实试测的闭环,确认可学信号后再扩量。 |
| 有限 Layer 5 研究环境 | 在受控市场、窗口与预算内探索少量完整任务。 | 需要封存评估、完整搜索轨迹及跨任务验证;不能预设每个研究任务均有可获利答案。 |
| 数据覆盖与粒度 | 已有 A 股日频、Tick 与 L2 存量,按任务建立固定版本视图。 | 各频率仍需核验历史区间、字段和权限;历史成员、公司行动、修订与实际可得时点需单独验收。 |
| Layer 6 可观测性 | 纳入日志、版本、状态与账本回放。 | 先形成可追溯的研究环境;正式运行监控需结合目标系统定义。 |
| Layer 7 执行器 | 构造工具编写、接口适配与模拟交易任务。 | 具体交易软件接入依赖授权、接口与测试环境;实盘、高频与微观结构不作首版默认承诺。 |
| 收益与训练效果 | 承诺透明的构造和验收过程,报告实际证据。 | 不预先保证低分比例、后训练提升或实盘 Alpha;规模、覆盖和验收阈值以样例验证为依据。 |
表格可左右滑动
首版研发由范围核验、样例与环境建设、真实试测和独立验证逐步推进。每个阶段以可审阅的结果决定下一步投入;早期 sample 需要多轮打磨,不宜把演示样例直接作为批量交付能力。
确认研究问题、信息条件和可评价边界。
连通研究、决策、账本与评价,打磨候选任务。
复核真实失分、淘汰无效难度,检验可迁移性。
整理任务、环境、训练资产、评测集和限制说明。
该周期以核心数据可用、任务范围稳定、模型试测资源和专家复核条件具备为前提。初期优先建立少量可信样例与验收机制;最终数量、覆盖和交付节奏,需要根据试测结果确认。
LLM 参与从数据处理、研究验证到运行诊断的多数环节:既完成研究工作,也编写和调用专业工具。冻结的模型、交易代码与独立风控共同承担运行职责。
RESEARCH → LIVE DECISION → OBSERVABILITY → LEARNING
OHLCV · Tick · PIT · Order Book · Market Metadata
LLM:字段绑定、清洗代码、特征构造与数据质量检查
LLM 提出假设、写代码、安排实验;调用 GPR / GP / ML / RL / 规则工具箱。
LLM 组织滚动验证、样本外、消融与压力测试;由工具计算并核验结果。
LLM 整理版本、参数、依赖与发布说明;受控冻结、发布、回滚。
波动、趋势、流动性与状态概率。
LLM:设计识别方法,生成实现与解释。
方向、幅度、不确定性与有效性。
LLM:训练、部署与调用专业预测模型。
是否交易 · 多 / 空 / 观望 · 预期净效用 · 风险预算
LLM:设计并测试政策;运行时按已验证规则或策略模型生成订单意图。
Entry · Add · Reduce · Take Profit · Stop · Reentry
LLM:编写入场、加减仓、退出与重入逻辑,验证状态转换。
订单路由 · 成交回报 · 部分成交 · 账户对账 · 交易所风控
LLM:编写行情 / 交易适配器,诊断异常;执行器负责确定性下单与账本更新。
敞口 · 杠杆 · 相关性 · 回撤 · 强平风险
LLM:构造风险测试、分析暴露;限额由独立控制器执行。
Circuit Breaker · Kill Switch · 故障降级
LLM 辅助诊断与恢复建议;硬停机和恢复权限独立于 Agent。
LLM 解读预测监控、交易归因、数据漂移与审计日志,定位失败并提出下一轮研究。
已取得量化机构清洗后的数据,并完成多数据源聚合调差,为 LLM 的量化能力训练与养成提供数据库基础。
存量、来源与处理状态据团队现有盘点。各频率的历史起止、证券范围、字段与使用权限,以数据目录为准;不将“全市场”解释为每个证券、每个时期、每种字段均无缺失。
固化数据快照与时间边界,让多模型、多次试测使用同一输入。
统一代码、单位与复权口径,保留来源及差异处理依据。
本地重放候选策略,将工具调用、结果与错误修复连接起来。
MCP、API 可以连接这套数据库;本地数据底座让批量研究不必反复依赖远端取数。
MCP 是工具协议,语义误解来自模型或接入层的映射,不是协议必然造成的错误。数据清洗也不能消除所有时点和口径风险。参考:MCP 工具规范 · iFinD 数据量、并发与权限说明。
相较 Wind / iFinD 等综合数据服务,我们的字段没有那么全;现有行情底座足以支撑首批行情因子、趋势策略、回测审计与数据工具调用训练任务。
基本面、新闻、特殊资产与严格 PIT 任务按需补齐;Tick / L2 执行任务另验字段与仿真条件。数据存量提供研发基础,训练效果仍由独立评测验证。
让模型反复经历可重放、可验证的研究过程,把数据基础转化为可检验的量化能力。
公开结果按具体论文版本与实验协议引用,未重新跑分。内部结果用于说明构造经验。框架、任务与决策示例属于研发设计,不能视为已完成的训练实验或投资效果证明。
2026 · 表 1 的合成任务集;区分 SQL ECR、指标计算 MC 及其他任务指标。
ICLR 2026 · 项目页 FactorEval,零样本、无执行回测的因子质量评价。
v1 · 2026-10-21 · 表 2 与正文 3.2;以全配置结果核对“超过市场”的范围,避免仅按摘要泛化。
v1 · 2026-05-27 · 记忆控制设置与 Barra-style 收益归因;Selection Alpha 依赖具体归因模型。
v1 · 2026-09-25 · 表 9 的独立完整生成实验与附录 I;35/180、20/180 为汇总尝试通过数。
用于核查 GPR 的概率预测与噪声设定。GPR-Adaptive 的具体机制解读来自提供的产品截图,未验证其完整实现和收益。
用于说明历史与实时信息差异,以及回测中的成交假设边界;不代表对某种框架的收益背书。
QFBench 银行题正式增难:6 轮、5 题;量化数据 canary r01:3 题、每题 2 次。另引述费用计量错误的因果诊断。依据冻结成绩、原生轨迹与复盘记录;样本较小且经过构造筛选,不代表总体难度分布。记录定位与版本哈希保存在随附开发说明中。