OpenTS-Bench 快速开始

OpenTS-Bench 为您提供三大关键功能：

  • 评测您的算法：根据标准化数据集评估您自己新开发的算法/模型。
  • 测试自定义数据集：验证现有算法在您的自定义数据集上的表现。
  • 跟踪算法排名：在我们的交互式排行榜上监控不同设置下的性能比较。

目录

  1. 快速开始
  2. 评测您的算法
  3. 测试自定义数据集
  4. 跟踪算法排名
  5. 常见问题
  6. 引用
  7. 联系我们

快速开始

下载

基于 PyPI

创建一个Python环境 (注意: 该项目基于python 3.8评测), 使用以下命令下载依赖:

1
pip install -r requirements.txt

基于 Docker

我们提供 Dockerfile 来配置环境. 为此首先需要安装Docker服务.

1
docker build . -t tfb:latest
1
docker run -it -v $(pwd)/:/app/ tfb:latest bash

数据准备

下载是数据放置在./dataset文件夹.

训练与评测

所有的实验脚本在文件夹 ./scripts/multivariate_forecast, 与 ./scripts/univariate_forecast之中. 例如可以通过以下命令来复现结果:

1
sh ./scripts/multivariate_forecast/ILI_script/DLinear.sh

评测您的算法

我们提供了自定义方法的教程: tutorial.

测试自定义数据集

我们提供了自定义数据集的教程: tutorial.

常见问题

如何在Pycharm中运行代码？

在pycharm下运行时，请将双引号转义并删除空格与首尾的单引号。

例如: ‘{“d_ff”: 512, “d_model”: 256}’ —> {\“d_ff\“:512,\“d_model\“:256}

1
--config-path "rolling_forecast_config.json" --data-name-list "ILI.csv" --strategy-args {\"horizon\":24} --model-name "time_series_library.DLinear" --model-hyper-params {\"batch_size\":16,\"d_ff\":512,\"d_model\":256,\"lr\":0.01,\"horizon\":24,\"seq_len\":104} --adapter "transformer_adapter"  --gpus 0  --num-workers 1  --timeout 60000  --save-path "ILI/DLinear"

引用

如果您发现我们的工作有帮助，欢迎引用我们的论文。

PVLDB 2024
Best Research Paper Nomination

PVLDB 2025

SIGKDD 2025

1
2
3
4
5
6
7
@inproceedings{qiu2024tfb,
    title   = {TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods},
    author  = {Xiangfei Qiu and Jilin Hu and Lekui Zhou and Xingjian Wu and Junyang Du and Buang Zhang and Chenjuan Guo and Aoying Zhou and Christian S. Jensen and Zhenli Sheng and Bin Yang},
    booktitle = {Proc. {VLDB} Endow.},
    pages   = {2363--2377},
    year    = {2024}
}
1
2
3
4
5
6
7
@inproceedings{qiu2025tab,
    title   = {TAB: Unified Benchmarking of Time Series Anomaly Detection Methods},
    author  = {Xiangfei Qiu and Zhe Li and Wanghui Qiu and Shiyan Hu and Lekui Zhou and Xingjian Wu and Zhengyu Li and Chenjuan Guo and Aoying Zhou and Zhenli Sheng and Jilin Hu and Christian S. Jensen and Bin Yang},
    booktitle = {Proc. {VLDB} Endow.},
    year    = {2025}
}

1
2
3
4
5
6
7
@inproceedings{li2024TSMF-Bench,
    title     = {TSMF-Bench: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting},
    author    = {Zhe Li and Xiangfei Qiu and Peng Chen and Yihang Wang and Hanyin Cheng and Yang Shu and Jilin Hu and Chenjuan Guo and Aoying Zhou and Christian S. Jensen and Bin Yang},
    booktitle = {SIGKDD},
    year      = {2025}
}

联系我们

若有任何问题，欢迎联系