aszer/etf
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
249 Commits 1 Branch 0 Tags
209dd7fd830f14e78688de9125e8d0fa7454b6c6
Commit Graph

30 Commits

Author SHA1 Message Date
aszerW
209dd7fd83 refactor(tushare): 移除代理清除/恢复逻辑 
Tushare是国内服务，不需要代理切换操作

移除内容:
- _clear_proxy 方法
- _restore_proxy 方法
- 所有方法中的代理清除和恢复调用

代码精简37行，保持原有功能不变
 2026-05-23 11:55:02 +08:00
aszerW
b066b23495 feat(tushare): 新增ETF后复权价格和交易日历获取方法 
新增方法:
- fetch_etf_adj: 获取ETF后复权价格数据，消除份额拆分对收益率的影响
  通过 fund_daily + fund_adj 手动计算后复权价格
  fund_adj 单次限2000条，按5年分段请求
- fetch_trade_cal: 获取A股SSE官方交易日历

验证结果:
- 纳指ETF后复权正确识别2022-01-14拆分(复权因子5.0)
- 累计收益100.54%与纳指100指数一致
 2026-05-23 11:51:32 +08:00
aszerW
bed92027fc fix(premium): 溢价率计算改用动态匹配原则 
修复 _calculate_premium_series 方法，改为动态匹配净值日期：

原问题：
- 统一使用T-1净值规则导致A股/港股/商品ETF溢价率计算错误
- 如创业板ETF用T-1净值而非当天净值，溢价率从0.76%变成0.19%

修复方案：
- 优先使用当天净值（A股/港股/商品/债券/日本QDII）
- 当天净值不存在时使用T-1净值（美股QDII/欧洲QDII/原油QDII）

验证结果：
- 11只ETF全部验证通过，与集思录数据完全一致
 2026-05-16 10:27:07 +08:00
aszerW
13be83965b fix(datasource): QDII溢价率计算修复净值日期滞后一天对齐 
问题: 溢价率计算使用同一天收盘价+净值，但QDII净值T+1披露
修复: 将净值索引后移一天，T日收盘价配T-1日净值
参考: 集思录做法（价格日期配前一日净值）

验证数据(513100.SH):
- 2026-05-15: 收盘价2.100, 净值(5/14)2.0200, 溢价率3.96% ✓
 2026-05-16 08:57:20 +08:00
aszerW
80c7fe0ba8 refactor(log): 优化回测日志输出格式 
- strategy.py: 在数据获取前打印回测配置区间说明
- flask_api_source.py: 使用API返回的实际数据范围(date_range)
- 原问题: 日志显示请求参数的start_date,而非实际数据范围
- 修改后: 各标的显示实际数据时间周期(如创业板2010年开始)
 2026-05-15 23:34:52 +08:00
aszerW
18ef2a1704 feat(datasource): 加密货币数据支持分钟级时间精度 
- flask_server.py: dataframe_to_json 增加 asset_type 参数，crypto 使用 '%Y-%m-%d %H:%M:%S' 格式
- ccxt_source.py: 移除 normalize() 调用，保留完整时间精度
- ETF/指数数据保持天级精度 '%Y-%m-%d' 不变
 2026-05-15 21:25:08 +08:00
aszerW
a49002f622 fix(datasource): 溢价率计算改用同一天市价与净值 
问题：之前用 ffill 将前一天净值填充到当天，导致溢价率偏差过大
例如：5月13日市价 4.048 vs 5月12日净值 3.946 → 溢价率 2.58%

修复：
- 不使用 ffill，只计算有净值日期的溢价率
- 使用 price_df 和 nav_df 的交集日期计算
- 溢价率 = (当天市价 - 当天净值) / 当天净值
- 5月12日市价 3.94 vs 净值 3.946 → 溢价率 ~0%

注意：净值 T+1 公布，最新一天溢价率可能无法计算
 2026-05-14 01:31:39 +08:00
aszerW
6a5d4dacd4 fix(datasource): 修复溢价率计算重复日期导致的 reindex 失败 
问题：长时间范围 ETF 数据获取时，出现 'cannot reindex on an axis with duplicate labels' 错误

修复：
- 在 _calculate_premium_series 中先检测并去除重复日期
- price_df 和 nav_df 的索引都使用 duplicated(keep='last') 去重
- 确保 reindex 操作正常执行
 2026-05-14 01:15:03 +08:00
aszerW
d62763b0bd feat(flask): OHLCV 端点自动附加 ETF 净值和溢价率 
flask_server.py:
- 当 asset_type 为 china_etf 时，自动调用 fetch_etf_with_nav
- 响应中添加 nav、premium_series、latest_premium、premium_stats

flask_api_source.py:
- 解析 ETF 数据中的净值和溢价率信息
- 将 nav_df、premium_series、premium_stats 存入 DataFrame.attrs
 2026-05-14 00:57:37 +08:00
aszerW
d4047d4cf4 fix(flask_api_source): 修复 fetch_etf_nav zstd 解压与溢价率解析 
- 处理 zstd 响应的 JSON 解析问题
- 正确解析 Flask server 返回的净值数据结构
- 添加 premium_series、latest_premium、premium_stats 到 DataFrame attrs
 2026-05-14 00:51:23 +08:00
aszerW
4fe21a7cd4 fix(datasource): 修复 zstd 响应 JSON 解析问题 
- flask_api_source.py: 添加 requests.exceptions.JSONDecodeError 捕获
- flask_server.py: 启用 flask-compress gzip 压缩
- requirements.txt: 添加 flask-compress>=1.14
- strategy.py: 修复 flask_api 配置读取方式

问题原因：Traefik Ingress 使用 zstd 压缩响应，
requests.response.json() 解析失败，但 json.loads(response.text) 成功
 2026-05-14 00:27:30 +08:00
aszerW
0a9795febb feat(strategy): rotation策略支持Flask API数据获取 
- 新增 flask_api_source.py: Flask API远程数据源模块
- 修改 strategy.py: get_data() 支持通过Flask API获取数据

使用方式:
strategy.get_data(use_flask_api=True)  # 通过部署服务获取
strategy.get_data(use_flask_api=False) # 本地HybridDataSource

配置项:
flask_api_url: 可在config.yaml中指定API地址
 2026-05-13 23:49:26 +08:00
aszerW
416f708d53 feat(datasource): 实现加密货币数据获取功能 
- 新增 ccxt_source.py: CCXT + OKX 加密货币数据源
- 新增 socks2http.py: SOCKS5 转 HTTP 代理转换器
- 修改 universal_fetcher.py: 添加 _fetch_crypto 方法，支持 timeframe 参数
- 修改 flask_server.py: API 支持 timeframe 参数，加密货币不缓存

支持的 timeframe: 1d, 1h, 4h, 15m, 1m
测试验证: BTC 数据获取成功
 2026-05-13 23:30:32 +08:00
aszerW
a712bc0f03 fix(datasource): 支持US_STOCK和HK_STOCK类型数据获取 
- universal_fetcher.py: 添加 _fetch_us_stock 和 _fetch_hk_stock 方法
- flask_server.py: SSH_HOST 修正为正确的IP地址 8.218.167.69
- 测试 META 获取成功，info 字段在最外层返回179个属性
 2026-05-13 00:38:01 +08:00
aszerW
ecd8d6539f feat(datasource): 股票info字段放到API响应最外层 
- yfinance_source.py: stock_info 存储在 df.attrs['info'] 中
- flask_server.py: dataframe_to_json 从 df.attrs 提取 info 放到最外层
- flask_server.py: 缓存切片函数保留 info 字段
- Dockerfile: 启用 Flask 服务作为默认 CMD（端口80）

响应结构示例:
{
  "data": [{"date": "2024-01-01", "code": "AAPL", ...}],
  "info": {"sector": "Technology", "industry": "...", ...}
}
 2026-05-13 00:26:19 +08:00
aszerW
d226916131 fix: Flask服务默认端口改为80，简化Dockerfile CMD 
修改内容：
- flask_server.py: 默认端口从5000改为80
- Dockerfile: CMD简化，无需指定--port参数

最终Dockerfile:
FROM index-base:latest
WORKDIR /app
...
EXPOSE 80
CMD ["python", "datasource/flask_server.py", "--host", "0.0.0.0"]
 2026-05-12 23:53:23 +08:00
aszerW
cf48c4418f fix: asset_type参数改为强制覆盖而非验证 
问题：
- 原设计要求asset_type与自动检测结果一致
- 如果自动检测逻辑有问题，用户无法覆盖

修改：
- 指定asset_type后直接使用，不再验证
- 用户指定的类型强制覆盖自动检测结果
- 返回type_override字段提示覆盖情况

返回示例（覆盖时）：
{
  "asset_type": "us_index",  // 用户指定
  "type_override": {
    "detected": "hk_index",  // 自动检测结果
    "specified": "us_index", // 用户指定
    "hint": "用户强制覆盖了自动检测结果"
  }
}
 2026-05-12 23:34:36 +08:00
aszerW
95c7a091f5 feat: Flask API增加asset_type参数支持类型验证 
新功能：
- /api/v1/ohlcv 接口新增可选 asset_type 参数
- 用于验证code与指定类型是否匹配
- 类型不匹配时返回400错误并说明

API文档更新：
- endpoints 添加 asset_type 参数说明
- 新增 asset_types 字段说明各类型含义

使用示例：
- /api/v1/ohlcv?code=000300.SH (自动检测)
- /api/v1/ohlcv?code=000300.SH&asset_type=china_index (验证类型)
- /api/v1/ohlcv?code=513100.SH&asset_type=us_index (类型不匹配报错)
 2026-05-12 23:32:08 +08:00
aszerW
fb755fc31e refactor: 加密货币默认不缓存，简化分层缓存策略 
问题：
- 加密货币分钟级数据量大，不适合全量缓存
- 原分层策略过于复杂

优化方案：
- 日级别数据（股票/指数/ETF/期货）: 缓存全量数据，切片返回
- 加密货币: 每次实时下载，不缓存

代码简化：
- 删除 CRYPTO_CACHE_DAYS 配置
- 删除 _get_crypto_cache_start 函数
- _fetch_full_data_cached: 加密货币直接返回None
- fetch_data_with_ttl: 加密货币分支直接下载

优势：
- 日级别数据：减少重复下载
- 加密货币：避免内存爆炸，实时获取最新价格
 2026-05-12 23:27:44 +08:00
aszerW
1d3483bc02 feat: DEFAULT_START_DATE改为1980-01-01支持最长历史数据 
数据历史深度调研：
- YFinance 标普500: 1980-01-02 (45年, 11685条)
- YFinance 日经225: 1980-01-04 (45年, 11396条)
- YFinance 纳斯达克100: 1985-10-01 (40年, 10232条)
- YFinance 恒生指数: 1986-12-31 (38年, 9712条)
- Tushare 沪深300: 2005-01-04 (21年, 5183条)

修改：
- DEFAULT_START_DATE: '2015-01-01' -> '1980-01-01'
- 支持最长45年的历史数据下载
- A股数据会在数据源端自动截取有效范围
 2026-05-12 23:03:37 +08:00
aszerW
4cee249823 feat: 优化缓存策略 - 全量数据缓存 + 按日期切片 
缓存策略改进：
- Key改为(code, today_date)：每天缓存一次全量数据
- 下载全量数据：从DEFAULT_START_DATE(2015-01-01)到今天
- 返回时切片：从缓存数据中按start-end范围切片返回

新增功能：
- DEFAULT_START_DATE配置项（可通过环境变量覆盖）
- _fetch_full_data_cached：缓存全量数据
- _slice_data_from_cache：从缓存切片指定日期范围

优势：
- 同一天内不同日期范围请求不会重复下载
- 第二天请求自动更新缓存（today_date变化）
- 减少对外部数据源的请求次数

修改文件：
- datasource/flask_server.py
 2026-05-12 22:47:03 +08:00
aszerW
2fba6d82f4 fix: SSH隧道启动前清理残留进程 
问题：
- 多次运行回测后残留SSH进程干扰代理连接
- yfinance因代理冲突无法获取数据

修复：
- SSHTunnelManager添加 _cleanup_old_processes 方法
- 启动新隧道前自动清理同端口残留进程

验证：
- 清理后YFinance成功下载纳指、日经、DAX等数据
 2026-05-12 22:40:35 +08:00
aszerW
5c98b1cb6a refactor: SSH密钥移到根目录，删除config目录 
迁移内容：
- config/hk_ecs.pem → hk_ecs.pem（根目录）
- 删除 config 目录（无其他内容）

路径更新：
- datasource/flask_server.py：默认路径改为 hk_ecs.pem
- strategies/rotation/config.yaml：SSH配置路径
- docker-compose.yml：挂载路径
- build-and-push.sh：示例命令
- README.md：项目结构说明

设计原则：敏感文件集中放在根目录
- .env：环境变量
- hk_ecs.pem：SSH密钥
 2026-05-12 22:31:43 +08:00
aszerW
aeb95a6f4c refactor: 配置文件迁移到策略目录（模块自包含） 
迁移内容：
- config/strategies/rotation.yaml → strategies/rotation/config.yaml

路径更新（核心文件）：
- strategies/rotation/strategy.py（注释示例）
- scripts/generate_legacy_report.py（config_path）
- run_rotation.py（注释和默认参数）
- datasource/hybrid_source.py（from_yaml示例和fetch_rotation_data）

保留：
- config/strategies/cci.yaml（无对应策略目录，暂保留）

设计原则：策略模块自包含，配置与实现同目录，方便移植和复制

验证：策略加载成功（候选池11只，回测区间2019-01-01 ~ 2026-05-12）
 2026-05-12 22:14:35 +08:00
aszerW
70515ab169 fix: SSH密钥路径从根目录迁移到config目录 
修改内容：
1. datasource/flask_server.py
   - 默认路径从 'hk_ecs.pem' 改为 'config/hk_ecs.pem'

2. docker-compose.yml
   - 挂载路径从 './hk_ecs.pem:/app/hk_ecs.pem'
   - 改为 './config/hk_ecs.pem:/app/config/hk_ecs.pem'

3. build-and-push.sh
   - 示例命令中的路径同步更新

4. README.md
   - 项目结构说明中更新密钥位置

验证：
- rotation.yaml 已使用 config/hk_ecs.pem（无需修改）
- flask_server 默认路径正确指向 config/hk_ecs.pem
- 密钥文件存在于 config/hk_ecs.pem
 2026-05-12 22:02:35 +08:00
aszerW
16affb2368 feat: fetch_etf_with_nav 返回历史溢价率序列 
修改内容：
1. universal_fetcher.py
   - fetch_etf_with_nav 返回三值：(price_df, nav_df, premium_series)
   - 新增 _calculate_premium_series 方法：计算每一天的溢价率
   - 溢价率 = (ETF收盘价 - ETF净值) / ETF净值
   - 净值用ffill对齐价格日期（处理T+1延迟）

2. flask_server.py
   - /api/v1/etf/nav 端点返回历史溢价率序列
   - 添加 premium_series 字段：[{date, premium}]
   - 添加 latest_premium: 最新溢价率
   - 添加 premium_stats: 统计数据（mean/std/min/max/median）

测试结果（513100.SH 纳指100 ETF）：
- 价格数据: 8条
- 净值数据: 8条
- 溢价率序列: 8条
- 最新溢价率: 0.1500%
- 溢价率均值: 1.1433%
- 溢价率范围: 0.15% ~ 1.69%
 2026-05-12 21:39:07 +08:00
aszerW
4e3aac5e0e feat: Flask统一数据服务迁移（分层架构） 
架构设计：
- 对外统一接口 fetch()：自动识别资产类型并路由
- 对内分层实现：各资产类型独立方法，职责单一

新增文件：
- datasource/universal_fetcher.py: 统一数据获取器
  - _fetch_china_index: A股指数（Tushare）
  - _fetch_china_etf: A股ETF（含净值）
  - _fetch_us_index: 美股指数（YFinance+SSH）
  - _fetch_hk_index: 港股指数（YFinance+SSH）
  - _fetch_futures: 期货（Tushare/YFinance）
  - fetch_etf_with_nav: ETF价格+净值（计算溢价率）

- datasource/asset_type_detector.py: 资产类型检测器
  - AssetType枚举：9种资产类型
  - detect(): 自动识别资产类型
  - group_by_type(): 批量分组

- datasource/flask_server.py: Flask API服务
  - LRU + TTL 双缓存机制
  - 8个API端点：ohlcv、etf/nav、batch、cache等

更新：
- datasource/__init__.py: 导出新模块

验证：
- 模块导入成功
- 资产类型检测正确
- A股数据获取正常（沪深300: 5条）
 2026-05-12 21:33:19 +08:00
aszerW
19131c41dd fix: 数据源路由修复与因子计算改进 
1. 修复期货路由逻辑：NYMEX期货(.NYM)走YFinance而非Tushare
2. 添加SSH隧道路径修复（原引擎）
3. 因子计算只使用close列（处理部分指数只有收盘价的情况）
4. 添加数据不足和缺失率剔除日志

收益对比:
- 原引擎（剔除国债）: 累计1804%, 调仓459次
- 新框架: 累计772%, 调仓1276次

差异原因待查：
- 国债剔除逻辑不同
- 调仓频率差异
 2026-05-12 00:47:43 +08:00
aszerW
a7a4a69153 fix: 修复回测日期对齐问题，优化收益率计算 
- 使用对齐后的index_close数据计算日收益率
- 添加日期对齐逻辑确保信号和收益率数据一致
- 修复pivot重复索引问题，使用pivot_table
- 修复tushare期货接口调用（futures_daily -> fut_daily）

回测结果:
- 最终净值: 0.9435
- 累计收益: -5.65%
- 信号日期: 2302天
 2026-05-12 00:12:46 +08:00
aszerW
e56bd39400 feat: 创建数据源模块 datasource/ 
核心功能：
- ssh_tunnel.py: SSH隧道管理器（连接香港ECS）
- tushare_source.py: A股数据获取（指数、ETF、期货）
- yfinance_source.py: 境外数据获取（港股、美股）
- hybrid_source.py: 混合数据源（整合所有）

使用方式：
  from datasource import HybridDataSource

  source = HybridDataSource.from_yaml('config/strategies/rotation.yaml')
  result = source.fetch_all()

更新 RotationStrategy 使用新数据源模块
 2026-05-12 00:03:25 +08:00