c0195c5bca
refactor(tushare): 合并ETF复权方法，消除冗余设计
...
- 合并 fetch_etf_adj 和 _fetch_etf_adj 为单一方法
- 删除 _fetch_etf_qfq 转发方法
- 减少~26行代码，优化代码结构（从3个方法→1个方法）
- 保持公共接口签名不变，完全向后兼容
- 全面测试通过：raw/qfq/hfq三种模式数据正确
- 更新 VALID_ADJ_BY_TYPE 配置，ETF支持前复权/后复权
2026-05-25 19:59:49 +08:00
a62cfb4cd5
fix: 修复因子前向填充不生效的 bug（清理调试代码）
...
问题根因：
- pandas reindex(method='ffill') 只填充新增行的 NaN，不填充已存在的 NaN
- 当 factor_df 中已有境外市场放假日期的 NaN 值时，reindex 无法填充
修复方案：
- 改为两步操作：reindex() 然后 ffill()
- ffill() 会填充所有 NaN，包括已存在的
验证结果：
- 2026-04-30 HSI: None → 0.2388 ✅
- 2026-04-30 GDAXI: None → 0.5647 ✅
- 2026-05-08 HSI: None → 0.1144 ✅
2026-05-25 19:16:14 +08:00
b8d433d519
fix: 修复因子前向填充不生效的 bug
...
问题根因：
- reindex(method='ffill') 不会填充已存在的 NaN 值
- 当 factor_df 中已有 NaN（境外市场放假），reindex 无法填充
修复方案：
- 改为两步操作：reindex() 然后 ffill()
- ffill() 会填充所有 NaN，包括已存在的
影响范围：
- rotation.py: positions 对齐到 A 股日历
- export_backtest_detail.py: 因子对齐到展示日历
验证结果：
- 2026-04-30 HSI: nan → 0.2388 ✅
- 2026-05-08 HSI: nan → 0.1144 ✅
2026-05-25 08:53:42 +08:00
2f6b031361
feat: 添加因子对齐调试输出
...
- 检查 factor_df 索引类型
- 检查 reindex 后 2026-04-30 的 HSI 动量值
- 待进一步分析为何 ffill 未生效
2026-05-25 02:45:27 +08:00
0ef0623538
fix: 导出脚本因子前向填充对齐到展示日历
...
- 先定义 common_dates = equity_curve.index
- 再执行 factor_df.reindex(common_dates, method='ffill')
- 修复境外市场放假时动量显示为 None 的问题
2026-05-25 02:30:58 +08:00
959a863b5e
fix: 导出脚本因子对齐到A股日历
...
- 因子在原始数据上计算（正确）
- 导出时将因子前向填充到A股交易日历
- 修复境外市场放假时动量显示为None的问题
2026-05-25 02:07:18 +08:00
b89e975aed
refactor: 删除 SimpleRotationStrategy 简化版
...
- 删除 simple.py（已被 GlobalRotationStrategy 替代）
- 删除 backtest_simple_rotation.py 回测脚本
- 删除 test_simple_rotation.py 测试脚本
- 更新 __init__.py 移除 SimpleRotationStrategy 导出
- 现在只保留 GlobalRotationStrategy 正式版
2026-05-25 01:33:23 +08:00
e8e4e9c3ac
fix: GlobalRotationStrategy select_num 未生效
...
- 修复分散化选股逻辑：每个 group 选 Top 1 后，需要再按动量排序选 Top select_num
- 之前：所有 group 的 Top 1 都标记为信号（忽略 select_num）
- 现在：先从每个 group 选 Top 1，再从中按动量选 Top select_num 个
- 影响：配置 select_num=3 时，实际持仓 3 只而不是 4 只（group 数量）
2026-05-25 01:23:00 +08:00
2be81ba00d
feat(v2): 添加回测逐日明细导出脚本
...
新增功能：
- 创建 framework_v2/scripts/export_backtest_detail.py
- 导出 GlobalRotationStrategy 回测细节到 JSON
- 输出路径: framework_v2/results/backtest_detail_v2.json
导出数据内容：
1. 元数据（meta）
- 策略版本、模式、日期范围
- 动态阈值配置
- 调仓次数、最终净值
- 标的列表（名称、ETF、分组）
2. 逐日明细（days）
- 日期、净值、日收益率
- 调仓信息（is_rebalance、added、removed）
- 持仓列表（holdings）
- 每标的详情（11 个标的 × 1539 天）
* 动量得分、排名、阈值
* 持仓状态、权重
* 入场日期、入场价格、持仓天数
* 累计收益、当日收益、收益贡献
技术特性：
- 使用 CrossMarketAligner 对齐数据
- 支持动态短债阈值
- 支持强制分散化
- 包含交易成本计算
- Pydantic Schema 验证
回测验证（2020-01-10 ~ 2026-05-22）：
- 总收益：137.64%
- 年化收益：15.23%
- 调仓次数：829 次
- 交易天数：1539 天
- 文件大小：4.5 MB
用途：
- 供 HTML 回放器加载
- 策略分析和调试
- 信号可视化
- 持仓明细查询
2026-05-25 00:39:47 +08:00
6a5f50cc85
chore: 添加 FLASK_API_URL 环境变量配置
...
- 添加 FLASK_API_URL=https://k3s.tokenpluse.xyz
- 用于 framework_v2 配置加载器读取 Flask API 服务地址
- 支持 V2 策略回测自动获取数据
2026-05-25 00:30:02 +08:00
6749f8cf61
feat(v2): GlobalRotationStrategy 使用 CrossMarketAligner 进行数据对齐
...
核心改进：
- 替换手动对齐逻辑为框架标准的 CrossMarketAligner
- 修复收益率计算顺序：先对齐价格 → 再计算收益率
- 修复首日收益率 NaN 问题（填充为 0%）
- 添加 Pydantic Schema 验证（数据质量保证）
对齐逻辑变更：
修复前（错误）：
1. returns = close_df.pct_change() # 在原始日历计算
2. returns = returns[returns.index.isin(trading_calendar)] # 过滤
修复后（正确）：
1. aligner = CrossMarketAligner(target_calendar)
2. returns_df = aligner.align_multi_asset(close_dict)
- 内部：先 ffill 价格到 A 股日历
- 内部：再计算收益率（休市日 = 0%）
- 内部：填充首日 NaN 为 0%
- 内部：Pydantic Schema 验证
回测验证（2020-01-10 ~ 2026-05-22）：
- 修复前：总收益 135.63%，年化 15.07%，夏普 1.15
- 修复后：总收益 137.88%，年化 15.25%，夏普 1.16
- 收益提升：+2.25%（修复首日 NaN 和跨日收益率问题）
关键修复：
1. 首日收益率从 NaN 改为 0%（避免收益丢失）
2. 休市日收益率正确 = 0%（价格 ffill 后不变）
3. 消除跨多日收益率被当作单日收益率的 bug
4. 统一使用框架标准组件（CrossMarketAligner）
2026-05-25 00:29:49 +08:00
798a316ad5
feat: ETF复权功能扩展至支持前复权qfq
...
核心变更:
- TushareSource: _fetch_etf_adj() 支持 qfq 和 hfq 双模式
* 后复权(hfq): close × adj_factor
* 前复权(qfq): close × adj_factor / latest_factor
- UniversalDataFetcher: VALID_ADJ_BY_TYPE 更新
* CHINA_ETF: ['raw', 'hfq'] → ['raw', 'qfq', 'hfq']
复权公式验证:
- 纳指ETF(513100.SH): HFQ / QFQ = latest_factor (5.0020) ✅
- 5/5 个交易日全部通过验证
技术实现:
- fetch_etf_adj(): 公共接口支持 adj='qfq' 或 'hfq'
- _fetch_etf_adj(): 内部实现根据 adj 参数分支计算
- 前复权使用全量最新复权因子确保准确性
2026-05-25 00:15:59 +08:00
c07974ad94
feat: 重构ETF和股票复权逻辑，抛弃pro_bar自行实现
...
核心变更:
- 放弃 Tushare pro_bar 接口（pandas 3.x 不兼容）
- A股股票: 使用 pro.daily() + pro.adj_factor() 自行计算复权
- ETF: 使用 fund_daily() + fund_adj() 分段获取复权因子
- 修复 pandas 兼容性: 使用 ffill() 替代 fillna(method='ffill')
验证结果 (4层独立验证):
1. AKShare新浪交叉验证: AKShare_raw × Tushare_factor ≈ Our_hfq, 差异 < 0.0001
2. 数学公式验证: Tushare_raw × factor = Our_hfq, 差异 < 0.0001
3. 股票复权对比: 我们的实现 vs pro_bar, 差异 < 0.00005
4. 浏览器直接验证: 东方财富官方后复权 vs Our_hfq, 差异 0.0024 (0.04%)
技术实现:
- fetch_stock_adj(): 完整重写A股股票复权逻辑
- fetch_etf_adj(): 新增ETF复权公共接口
- _fetch_etf_hfq(): 重写ETF后复权，支持分段请求(单次限2000条)
- 前复权计算使用全量最新复权因子，确保准确性
2026-05-25 00:06:37 +08:00
7fcf63d68a
docs: 添加版本对比分析脚本与配置设计文档
...
新增对比脚本：
- compare_v1_v2.py: V1 vs V2 简单版对比分析（153 行）
* 发现 V2 简单版收益虚高（981.95% vs V1 的 103.29%）
* 识别核心差异：交易成本、调仓逻辑、动态阈值、溢价控制
- compare_three_versions.py: 三版本完整对比（190 行）
* V1 原始版：103.29%（基准）
* V2 简单版：981.95%（未计入交易成本，虚高）
* V2 正式版：135.63%（已计入交易成本，真实）
* 量化分析收益下降 846% 的原因
新增文档：
- CONFIG_DESIGN.md: V2 配置系统设计文档
* 扁平化资产池设计
* signal_source/trade_source 分离机制
* group 字段策略化语义
测试脚本：
- test_api_dates.py: API 日期范围验证测试
关键发现：
1. V2 简单版未计入交易成本导致收益虚高 878%
2. V2 正式版计入 829 次调仓成本后收益降至 135.63%
3. V2 正式版 vs V1（+32.34%）差异合理，夏普比率更优（1.15 vs 0.78）
2026-05-24 22:54:50 +08:00
1807258176
feat(v2): 实现全球轮动策略正式版（GlobalRotationStrategy）
...
核心功能：
- 交易成本计算：每次调仓扣除 0.1%（829 次调仓）
- 动态短债阈值：标的动量 < 短债动量 × 1.0 → 不持有
- 强制分散化：每个 group 内竞争，只选 Top 1
- 溢价过滤：预留接口（阈值 10%）
- 调仓控制：rebalance_days + rebalance_threshold（预留接口）
- A 股交易日过滤：只保留 SSE 交易日（1539 天）
策略逻辑：
1. 计算各指数标的动量得分（加权线性回归）
2. 使用动态短债阈值过滤负动量标的
3. 每个 group 内竞争，只选 Top 1（强制分散化）
4. 溢价过滤：排除溢价率 > 阈值的 ETF
5. 调仓控制：最低持仓天数 + 调仓阈值
6. 等权分配仓位
7. 扣除交易成本（0.1%）
回测验证（2020-01-10 ~ 2026-05-22）：
- 总收益：135.63%（vs V1 的 103.29%，+32.34%）
- 年化收益：15.07%（vs V1 的 12.32%，+2.75%）
- 最大回撤：-17.57%（vs V1 的 -17.72%，略好）
- 夏普比率：1.15（vs V1 的 0.78，+47%）
- 调仓次数：829 次（vs V1 的 404 次）
新增文件：
- rotation.py: GlobalRotationStrategy 正式版实现（456 行）
- __init__.py: 导出 SimpleRotationStrategy 和 GlobalRotationStrategy
- backtest_global_rotation.py: 正式版回测脚本（117 行）
2026-05-24 22:54:21 +08:00
94b9ef165b
feat(v2): 增强框架核心功能与ETF复权修复
...
- 修复 end_date=None 导致 Flask API 返回错误时间范围的 bug
* strategy.py: 自动使用今天日期作为 end_date
* 验证：回测区间从 77 天恢复到 1539 天
- ETF 收益计算从原始价格改为后复权价格
* flask_api_fetcher.py: adj='raw' → adj='hfq'
* 自动处理 ETF 份额拆分事件，确保收益率准确
- V2 简单版添加 A 股交易日过滤
* simple.py: 获取 SSE 交易日历，过滤非交易日
* 验证：1999 天 → 1539 天（与 V1 一致）
- 配置严格对齐 V1 config.yaml
* config_simple.yaml: start_date 从 2020-01-01 改为 2020-01-10
* group 字段值严格映射 V1 的 market 字段
关键验证：
- V2 简单版回测：1539 天，981.95% 收益（未计入交易成本）
- V2 正式版回测：1539 天，135.63% 收益（已计入交易成本）
- V1 旧版框架：1539 天，103.29% 收益（基准）
2026-05-24 22:53:45 +08:00
86fce7a975
fix: group 字段严格对齐 V1 market 字段值
...
修正分组命名，不再自行创造：
- CN_GROWTH/CN_VALUE → A
- US_TECH → US
- JP_BROAD → JP
- EU_BROAD → EU
- HK_BROAD/HK_TECH → HK
- FIXED_INCOME → BOND
- COMMODITY → COMMODITY (不变)
同步更新 market_overrides:
- CN_EQUITY → A
- HK_EQUITY → HK
- US_EQUITY → US
现在 group 字段完全映射 V1 的 market 字段值
2026-05-24 15:00:48 +08:00
e6657bd2cc
feat(framework_v2): 对齐 V1 配置，实现指数信号→ETF收益回测
...
配置对齐:
- config_simple.yaml 严格对齐 V1 config.yaml
* 11 个标的覆盖 7 个策略分组
* 回测区间: 2020-01-01 ~ 至今
* 选股数量: Top-3，强制分散化
* V3 动态阈值（短债动量参考）
* 溢价控制启用（HK/US 10%阈值）
策略实现:
- SimpleRotationStrategy 支持 signal_source/trade_source 分离
* get_codes() 同时获取信号和交易标的
* compute_factors() 只使用 signal_source 计算因子
* _execute_backtest() 使用 trade_source 计算收益
* 支持跨市场场景（指数信号 → ETF收益）
回测验证:
- 成功运行端到端回测
- 获取 21 个标的（11 signal + 10 trade）
- 平均仓位 84.42%
- ⚠️ 已知问题: Flask API 只返回缓存数据（2026年），需修复
修复项:
- StrategyBase.run() 兼容信号矩阵（移除 'weight' 列假设）
2026-05-24 14:58:41 +08:00
43ce8056f1
docs: 添加 982fbe2 后代码变更总结文档
...
记录 framework_v2 配置系统重构和策略框架实现的关键变更
2026-05-24 14:27:06 +08:00
5212b004dc
fix: 回测细节导出、交易日历测试和动量因子修复
...
修复项:
- export_backtest_detail.py: 统一回测导出脚本的数据源调用逻辑
- test_trading_calendar.py: 交易日历功能测试
- verify_fix_result.py: 修复结果验证
- verify_mode_b.py: 模式 B 验证
策略修复:
- momentum.py: 动量因子计算优化
- strategy.py: StrategyBase 数据获取修复（fetch_indices 返回 dict）
2026-05-24 14:26:35 +08:00
0954458114
test(framework_v2): 添加配置系统测试和策略示例
...
配置文件:
- rotation_global.yaml: 扁平化资产池配置示例，演示 group 策略分组
* 13 个标的覆盖 7 个策略分组（US_TECH, CN_GROWTH, JP_BROAD, EU_BROAD, HK_TECH, COMMODITY, FIXED_INCOME）
* signal_source/trade_source 分离配置（跨市场场景）
* 分散化选股配置示例（注释状态）
* 默认使用 Flask API 数据源
测试用例:
- test_flat_asset_pool.py: 7/7 测试通过
* 扁平配置加载验证
* 策略分组功能测试（by_group, groups, count）
* 信号/交易标的获取（get_signal_codes, get_trade_codes）
* 信号→交易映射（get_signal_to_trade_mapping）
* 分散化配置验证
* 标的配置详情验证
- test_config.py: 配置加载器测试
- test_simple_rotation.py: 简单轮动策略端到端测试
2026-05-24 14:26:09 +08:00
de988b919b
feat(framework_v2): 实现 StrategyBase 抽象基类和简单轮动策略
...
StrategyBase ABC:
- 定义标准回测流程：get_data → compute_factors → generate_signals → manage_positions → execute
- 实现通用数据获取（使用 FlaskAPIFetcher.fetch_indices）
- 提供 run() 方法执行完整回测流程
SimpleRotationStrategy:
- 实现 4 个抽象方法：get_codes, compute_factors, generate_signals, manage_positions
- 支持动量因子计算（MomentumFactor）
- 实现全局选股和等权仓位管理
- 修复 int64 → float 转换问题
框架定位：
- 通用量化回测框架，支持轮动、CTA、趋势跟踪等多种策略
- 策略只需实现 4 个抽象方法即可接入框架
2026-05-24 14:25:47 +08:00
341611c32b
feat(framework_v2): 实现通用配置系统，支持扁平化资产池和策略分组
...
- 使用 Pydantic Schema 验证配置类型安全
- 实现扁平化 AssetPool，移除预设分类（equity/commodity/fixed_income）
- 移除 MarketType 枚举，改用 group 字符串字段实现策略分组
- AssetConfig 引入 signal_source/trade_source 分离，支持跨市场场景
- ConfigLoader 支持通用 StrategyConfig，向后兼容 RotationStrategyConfig
- 新增 GroupConfig 替代 MarketGroupConfig，支持分散化选股
重构核心：
- market → group（策略分组语义，组内竞争强制分散）
- by_market → by_group
- MarketGroupConfig → GroupConfig
2026-05-24 14:25:25 +08:00
99d3584d05
docs(framework_v2): 更新 FlaskAPIFetcher 文档（API 日历集成）
...
## 使用指南更新（FLASK_API_FETCHER_GUIDE.md）
- get_trading_calendar() 方法签名更新
- 新增 start, end 参数（支持动态日期范围）
- 返回类型: pd.DatetimeIndex（准确日历）
- 使用示例更新（API 调用方式）
- 注意事项更新：交易日历准确性 ✅ 已解决
## 架构设计更新（FLASK_API_FETCHER_ARCHITECTURE.md）
- get_trading_calendar() 实现更新
- 从临时 pandas BDay → API 准确日历
- API 端点: GET /api/v1/trading-calendar
- 未来优化: 移除交易日历 TODO（已完成）
## 文档一致性
- 所有示例代码使用 API 日历
- 架构描述与实际实现一致
- 版本历史更新（2024-04-16）
2026-05-24 12:38:55 +08:00
b462c0520c
docs(framework_v2): 添加端到端测试报告 + API 集成记录
...
## 测试报告（END_TO_END_TEST_REPORT.md, 345 行）
- 5 个阶段详细测试结果
- 关键验证总结（跨市场对齐、数据完整性、策略表现）
- 性能指标（总耗时 ~7 秒）
- 数据流图（完整流程可视化）
- 发现的问题（因子值异常、日历精度）
## 集成记录（TRADING_CALENDAR_API_INTEGRATION.md, 247 行）
- 变更前后对比（pandas BDay → API）
- API 端点文档（请求/响应格式）
- 使用示例（基础使用 + 数据对齐）
- 测试验证结果（484 天准确日历）
- 影响分析（正面影响 + 无破坏性变更）
## 文档特色
- 大量代码示例
- 表格总结
- 测试结果截图
- 版本历史记录
2026-05-24 12:38:28 +08:00
e7ab8a2755
feat(framework_v2): 集成交易日历 API + 端到端测试
...
## 核心功能
- get_trading_calendar(): 通过 API 获取准确交易日历
- 替换临时 pandas BDay 实现
- 调用 /api/v1/trading-calendar 端点
- 支持动态日期范围（start, end 参数）
- 支持 A/US/HK 多市场
## 端到端测试
- test_end_to_end.py: 完整流程测试（5 个阶段）
- 阶段 1: 数据获取（纳指 502 天，创业板 484 天）
- 阶段 2: 因子计算（MomentumFactor n_days=20）
- 阶段 3: 数据对齐（CrossMarketAligner 到 A 股 484 天）
- 阶段 4: 信号生成（Top-1，469 个信号）
- 阶段 5: 收益计算（年化 51.71%，超额 96.37%）
## 测试验证
- 5/5 阶段通过
- API 日历: 484 个交易日（准确）
- 纳指休市日: 18 天收益率 = 0%
- 收益率 NaN: 0
- 跨市场对齐成功
## 架构改进
- 从近似日历 → 准确 API 日历
- 无需手动维护节假日列表
- API 失败时抛出异常（不静默降级）
2026-05-24 12:38:06 +08:00
d07fb8de6d
feat: 为 FlaskAPIDataSource 添加交易日历获取功能
...
- 新增 get_trading_calendar() 方法，支持 A股/美股/港股
- 新增 get_calendar_info() 方法，获取服务信息
- 支持自动重试、超时保护、详细错误提示
- 返回标准 DatetimeIndex 格式
- 添加端到端测试验证所有市场
2026-05-24 12:26:35 +08:00
e2050e319d
fix: 添加 pandas_market_calendars 依赖到 requirements.txt
2026-05-24 11:30:59 +08:00
33e14b7eae
fix: 添加 pydantic 依赖到 requirements.txt
...
- Flask Server 使用 Pydantic 模型验证 API 响应
- 修复线上服务 ModuleNotFoundError: No module named 'pydantic'
2026-05-24 11:24:04 +08:00
100eed455d
feat: 统一交易日历为 pandas_market_calendars
...
- 移除 Tushare 交易日历依赖，A股/美股/港股统一使用 pandas_market_calendars
- 简化 get_trading_calendar() 接口，移除 exchange 参数（沪深日历一致）
- 删除冗余的 _get_china/us/hk_calendar() 独立函数，直接调用 mcal
- 新增 Flask API 端点: /api/v1/trading-calendar, /api/v1/calendar/info
- 代码减少 73 行 (-61%)，逻辑更集中易维护
- 更新 API 文档描述，三个市场数据源统一
2026-05-24 11:08:26 +08:00
1bf91bdcd0
docs(framework_v2): 添加 FlaskAPIFetcher 文档体系
...
## 文档（2 个文档，互相关联）
- FLASK_API_FETCHER_GUIDE.md - 使用指南（365 行）
- 快速开始示例
- 完整 API 参考
- 结合 CrossMarketAligner 示例
- 错误处理 + 性能优化
- 注意事项（交易日历、净值数据量）
- FLASK_API_FETCHER_ARCHITECTURE.md - 架构设计（367 行）
- 架构层次图
- 设计原则（DIP, SRP, OCP）
- 数据流图（指数、ETF）
- 与 CrossMarketAligner 集成
- 未来优化方向（缓存、异步）
## 更新
- README.md: 添加文档链接（5 个文档）
- 形成完整文档网络（6 个文档互链）
2026-05-24 10:39:02 +08:00
40116f436f
feat(framework_v2): 添加 FlaskAPIFetcher 数据获取器
...
## 核心功能
- FlaskAPIFetcher: 继承 DataFetcher 抽象基类
- fetch_indices(): 获取指数 OHLCV 数据
- fetch_etf(): 获取 ETF 数据（自动附加净值+溢价率）
- get_trading_calendar(): 获取交易日历
- get_benchmark(): 获取基准数据
## 技术实现
- 委托调用 FlaskAPIDataSource（HTTP API）
- 自动重试 3 次，超时 120 秒
- Pydantic Schema 验证响应
- 进度显示（批量获取）
- 无需本地 SSH 隧道配置
## 测试验证
- 5/5 测试通过（健康检查、指数、ETF、日历、基准）
- 成功获取线上数据（000300.SH, 510300.SH）
- ETF 自动附加净值（3695 条）和溢价率
## 架构设计
- shared/data/flask_api_fetcher.py - 实现（262 行）
- tests/test_flask_api_fetcher.py - 测试（199 行）
- 依赖倒置原则（策略依赖抽象接口）
2026-05-24 10:38:34 +08:00
5f08e508ac
docs(framework_v2): 完善文档体系 + 修复 .gitignore
...
## 文档体系（5 个文档，互相关联）
- README.md - 框架总览 + 文档索引
- DATA_ARCHITECTURE.md - 数据架构方案（Schema、验证、性能优化）
- ALIGNMENT_GUIDE.md - CrossMarketAligner 使用指南
- DATA_FLOW_DEMO.md - 从 OHLCV 到最终收益的 7 个阶段推演
- ALIGNMENT_SCHEMA_INTEGRATION.md - Aligner + Schema 整合方案
## 文档特色
- 大量代码示例（✅ 正确 vs ❌ 错误对比）
- 数据流可视化（ASCII 图）
- 表格总结（问题、严重度、解决方案）
- 实际场景推演（2024-01-01 ~ 2024-01-31）
- 文档互链（形成知识网络）
## 修复
- .gitignore: 添加 !framework_v2/shared/data/ 例外
- 允许提交对齐器相关文件
2026-05-24 10:29:20 +08:00
a16681bda9
feat(framework_v2): 添加跨市场数据对齐器 + Pydantic Schema 验证
...
## 核心功能
- CrossMarketAligner: 跨市场数据对齐（解决 ffill 陷阱）
- Pydantic Schema: 数据结构验证（OHLCVInputSchema, AlignedFactorSchema 等）
- 验证装饰器: @validate_factor_after_align, @validate_returns_after_align
## 解决的问题
- 跨市场交易日历不同（美股/港股/A股）
- ffill 收益率陷阱（休市日复制非零收益率）
- NaN 传播问题
- 日期不一致问题
## 测试验证
- 5/5 测试通过（因子对齐、收益率对齐、多标的对齐、信号验证、ffill陷阱）
- 休市日收益率 = 0%（正确）
- 无 NaN 传播
## 架构设计
- shared/data/alignment.py - 对齐器实现
- shared/data/schemas.py - Pydantic Schema 定义
- tests/test_alignment.py - 完整测试套件
2026-05-24 10:28:35 +08:00
908b28473f
feat(framework_v2): 创建框架V2骨架 - 三层架构+因子验证通过
...
## 架构设计
- 三层架构：core(抽象接口) → shared(通用实现) → tests(验证测试)
- 5个核心抽象基类：StrategyBase, FactorBase, SignalGenerator, Executor, DataFetcher
- 零侵入：与现有框架并行开发，不修改生产代码
## 已完成
✓ 核心接口层（5个ABC类）
✓ 通用因子层（MomentumFactor完全复制现有逻辑）
✓ 对比验证测试（新旧因子输出差异=0，测试通过）
## 验证结果
- 最大差异: 0.000000e+00
- 平均差异: 0.000000e+00
- 容差: < 1e-10
## 下一步
- 阶段3: 信号层迁移（TopNSelector, DynamicThreshold, RebalanceController）
- 阶段4: 执行层迁移（BacktestRunner）
- 阶段5: 数据层迁移（DataFetcher实现）
- 阶段6: 完整策略对比验证
## 设计原则
- 按需抽象，不预先设计
- 职责分离，避免框架膨胀
- 测试驱动，每个组件必须有对比测试
- 渐进式迁移，验证通过再替换
2026-05-24 09:12:29 +08:00
226a27361f
feat(pydantic): 集成 Pydantic 模型到 Flask API 层
...
1. models.py:
- 添加 dataframe_to_ohlcv_response() 转换函数
- 支持 DataFrame → OHLCVResponse 自动转换
- 自动处理 nav、premium、attrs 等业务数据
2. flask_server.py:
- 使用 Pydantic 模型构建响应（替代手动 Dict）
- 错误响应使用 ErrorResponse 模型
- 代码减少 20+ 行，类型安全提升
3. flask_api_source.py:
- 使用 validate_ohlcv_response() 验证 API 响应
- 类型安全访问 nav、premium、info 等字段
- ETF 数据解析更可靠
测试通过:
✅ DataFrame → Pydantic 转换正常
✅ ETF 净值和溢价率正确处理
✅ 线上 API 响应验证成功
✅ FlaskAPIDataSource 集成正常
2026-05-24 01:13:33 +08:00
72df18a28b
feat(models): 添加 Pydantic 数据模型（Phase 1）
...
- 定义请求模型：OHLCVRequest, AssetTypeRequest
- 定义响应模型：OHLCVResponse, AssetTypeResponse, ErrorResponse
- 定义枚举类型：AssetTypeEnum, AdjTypeEnum, TimeframeEnum
- 提供类型安全的 API 响应验证
- 支持 IDE 自动补全和类型检查
- 为 Phase 2 (Flask-Pydantic 集成) 做准备
测试通过:
✅ 请求参数自动验证（日期格式、adj 值）
✅ 响应数据验证（美股 META、ETF 513100.SH、BTC）
✅ 序列化/反序列化正常
✅ 类型安全检查（缺失字段、类型错误）
2026-05-24 00:42:22 +08:00
11a0a6502b
fix(flask_server): 根据资产类型动态选择日期格式精度
...
问题修复：
- 加密货币分钟级数据需要保留时分秒
- 日线数据只需日期（年月日）
- 之前硬编码 '%Y-%m-%d' 导致分钟级数据丢失时间信息
修复方案：
- API 层根据 final_type 判断：CRYPTO 使用 '%Y-%m-%d %H:%M:%S'，其他使用 '%Y-%m-%d'
- build_premium_result_from_attrs 自动检测索引是否包含时间部分
- build_premium_result 同样支持动态日期格式
- dataframe_to_json 已支持 asset_type 参数（之前已实现）
测试验证：
- BTC 小时级数据: '2024-01-01 00:00:00' ✅
- 000300.SH 日线数据: '2024-01-02' ✅
- ETF 溢价率日期: '2026-05-22' ✅
2026-05-24 00:06:34 +08:00
82d57af666
fix(flask_server): 修复 pickle 反序列化后 JSON 序列化问题
...
问题修复：
- pickle 反序列化后 attrs 包含真实 DataFrame/Series 对象
- build_premium_result_from_attrs 需要兼容 Series 对象和字典格式
- API 层需要将 DataFrame/Series 转换为 JSON 可序列化格式
修复方案：
- build_premium_result_from_attrs 支持 pd.Series 和 dict 两种输入
- API 层将 DataFrame 转换为 records 格式（orient='records'）
- API 层将 Series 索引转换为字符串日期
- 过滤内部缓存元数据（_cache_*）
2026-05-23 23:57:39 +08:00
3619e26bf1
refactor(datasource): 统一数据获取架构，使用 df.attrs 传递元数据
...
核心改进：
- CCXTSource 添加 df.attrs 支持（source, exchange, symbol, timeframe, adj）
- UniversalDataFetcher 简化透传方法，保留兼容接口
- fetch_etf_with_nav 标记为 deprecated，推荐使用 fetch_etf + df.attrs
- 所有数据源统一契约：返回 DataFrame + df.attrs
架构改进：
- 统一返回单 DataFrame，元数据通过 attrs 传递
- 消除多返回值接口（price_df, nav_df, premium_series）
- 文档注释更新，反映新接口用法
- 添加 DeprecationWarning 提示迁移路径
2026-05-23 23:40:18 +08:00
7446d1b2e8
refactor(flask_server): 使用 pickle 重构缓存层序列化逻辑
...
核心改进：
- 使用 pickle.dumps/loads 替代手动 JSON 序列化
- 代码减少 60 行（890 → 830）
- 自动保留 df.attrs 元数据（nav, premium 等）
- 消除手动处理 DataFrame/Series 转换的复杂逻辑
- 缓存层职责更清晰：只负责存储，不处理业务逻辑
架构改进：
- 序列化代码：25 行 → 1 行（-96%）
- 反序列化代码：58 行 → 1 行（-98%）
- attrs 完整性：自动保留，无需手动转换
- 性能提升：pickle C 实现，比 JSON 快 3-5 倍
2026-05-23 23:39:54 +08:00
feb7c78e68
refactor: 统一ETF获取接口为单个DataFrame返回
...
重构说明：
- TushareSource.fetch_etf(): 新增 adj 参数，统一接口
- 返回单个 DataFrame
- df.attrs['nav']: 净值 DataFrame
- df.attrs['premium']: 溢价率 Series
- 移除冗余方法：
- fetch_etf_with_nav() → 合并到 fetch_etf()
- fetch_etf_adj() → 重命名为 _fetch_etf_hfq()（内部方法）
- UniversalDataFetcher: 适配新接口
- fetch_etf_with_nav(): 从 df.attrs 提取元数据（兼容旧接口）
- fetch_etf_adj(): 调用 fetch_etf(adj='hfq')
- Flask: 更新注释说明
架构优势：
- 单一接口：一个方法搞定所有 ETF 数据获取
- 数据一致：所有数据在一个 DataFrame 对象中
- 缓存友好：只需缓存一个 DataFrame
- 扩展性强：新增数据直接添加到 attrs
2026-05-23 22:36:23 +08:00
2867ae8d21
refactor: 将ETF净值和溢价率逻辑下移到TushareSource层
...
重构说明：
- TushareSource: 新增 fetch_etf_with_nav() 和 _calculate_premium_series()
- UniversalDataFetcher: 简化 fetch_etf_with_nav() 为透传调用
- Flask: 更新注释说明数据层已处理
架构优势：
- 职责分离：TushareSource 封装完整数据获取逻辑
- 可复用性：任何调用 TushareSource 的地方都有净值
- 维护性：业务逻辑集中在数据源层
- 符合单一职责原则
2026-05-23 22:28:21 +08:00
50b5f09d84
fix: ETF始终返回净值和溢价率数据（与adj无关）
...
修改原因：
- 净值是客观数据，不存在复权概念
- 溢价率 = (原始价格 - 净值) / 净值，与用户请求的 adj 无关
- 用户请求 adj='hfq' 时也需要查看溢价率数据
变更内容：
- 移除 'adj == raw' 限制条件
- 所有 ETF 请求都附加净值和溢价率数据
- 更新 API 文档说明
- 溢价率始终基于原始价格计算
2026-05-23 22:21:50 +08:00
3697c9d38b
fix: 修复数据获取架构逻辑Bug
...
修复内容：
1. Bug #1 : TushareSource.fetch(adj='raw') ETF 无法获取
- 在 adj='raw' 分支优先判断 ETF
- ETF 代码现在正确路由到 fetch_etf()
2. Bug #2 : is_china_index 判断范围过宽
- 添加 ETF 排除逻辑
- ETF 不再被误判为指数
3. 接口一致性：CCXTSource 添加 adj 参数
- fetch(code, start, end, adj='raw', timeframe)
- 加密货币仅支持 adj='raw'
- UniversalDataFetcher._fetch_crypto() 同步更新
影响：
- ETF 原始价格数据获取恢复正常
- 类型判断逻辑更准确
- 数据源接口签名统一
2026-05-23 21:46:01 +08:00
b7f7a756b6
refactor: SSH配置完全封装到UniversalDataFetcher
...
变更内容：
1. UniversalDataFetcher 新增方法：
- get_ssh_config_from_env(): 从环境变量读取 SSH 配置
- from_env(): 工厂方法，自动读取环境变量创建实例
- get_ssh_status(): 返回 SSH 状态信息字典
2. flask_server.py 简化：
- 移除 get_ssh_config() 函数（18行）
- 移除 ssh_config 全局变量
- get_fetcher() 使用 from_env()
- / 和 /health 路由使用 get_ssh_status()
架构改进：
- SSH 配置逻辑完全封装在 UniversalDataFetcher
- flask_server.py 只依赖 fetcher 接口
- 减少 24 行重复代码
2026-05-23 21:20:43 +08:00
0f4295a144
refactor(flask_server): 多项优化重构
...
优化内容：
1. fetch_with_adj → fetch(adj=adj)
- _fetch_full_data_cached 使用 fetch(adj=adj) 替代 fetch_with_adj
2. 加密货币分支添加 adj 参数
- fetch_data_with_ttl 中加密货币调用添加 adj='raw'
3. ETF 净值溢价率逻辑抽取
- 新增 build_premium_result() 函数
- get_ohlcv 和 get_etf_nav 使用该函数，减少 42 行重复代码
4. SSH 配置信息增强
- ssh_status 改为 ssh 对象，包含更多详细信息
- 添加 required_types（需要 SSH 的资产类型列表）
代码行数：减少约 40 行重复代码
2026-05-23 19:03:09 +08:00
67d67b1eea
refactor(universal_fetcher): SSH隧道按资产类型统一启动
...
定义 SSH_REQUIRED_TYPES 常量集合，在 fetch() 入口处统一启动隧道
改进：
- 新增 SSH_REQUIRED_TYPES 常量（港美股/加密货币需要 SSH）
- fetch() 入口统一启动隧道，移除各分支重复调用
- fetch_us_adj/fetch_hk_adj 简化为调用 fetch()
- fetch_batch 移除冗余的隧道启动
- 移除废弃的 _fetch_xxx 内部方法（减少 55 行）
SSH 调用次数：10次 → 3次（仅保留必要场景）
2026-05-23 18:53:26 +08:00
56f0cd60e7
fix(flask_api): 保留code列确保本地与线上数据结构一致
...
FlaskAPIDataSource.fetch() 原硬编码只选择 OHLCV 列，丢失 code 列
修改为动态判断：若 API 返回包含 code 列则保留
确保本地 UniversalDataFetcher 与线上 FlaskAPIDataSource 返回数据结构一致
2026-05-23 18:41:20 +08:00
7f2af6b470
refactor(flask_api): fetch添加adj参数，fetch_with_adj简化
...
FlaskAPIDataSource.fetch() 新增 adj 参数，fetch_with_adj() 简化
- FlaskAPIDataSource.fetch(adj='raw'): 请求参数包含 adj
- fetch_with_adj(): 简化为 return self.fetch(adj=adj)（减少 ~120行）
- flask_server.py: 缓存逻辑已支持 adj 参数，无需修改
2026-05-23 18:32:20 +08:00
