OpenTS-Auto：面向时序时空的自动机器学习

OpenTS-Auto 由 AutoCTS 系列组成，旨在解决 AGREE 原则中的自动化（Automation）挑战。
Autocts是一系列自动化神经体系结构搜索（NAS）框架，旨在为相关时间序列（CTS）预测提供解决方案。 Autocts系列逐渐解决了NAS在CTS预测中面临以下挑战：

  1. 缺乏CTS的搜索空间：现有的NAS方法缺乏针对CTS预测的特定搜索空间，并且使用所有S/T-Operators会导致过多的搜索空间。此外，大多数现有的NAS方法都集中在假设固定设计结构时识别一个最佳单元格。
  2. 缺乏超参数和体系结构的联合搜索空间：现有的自动化CTS预测方法通常依赖于可以导致次优性能的预定义设置。
  3. 缺乏对看不见的任务的零拍搜索能力的支持：现有的自动化CTS预测方法依赖于完全有监督的特定于任务的模型，这使得针对各种数据集和预测设置进行新的搜索成本很高。
  4. 缺乏搜索空间的自动设计方法：搜索空间仍是手动设计的，这可能会产生次优性能，并且违反了自动化的目标，即自动化整个过程。

AutoCTS

Autocts提出了一个专门设计用于CTS任务的创新搜索空间，既有各种ST块和各种拓扑结构。

  • Autocts的搜索空间由微观搜索空间和宏观搜索空间组成。微观搜索空间通过结合时间和空间操作员来构建ST块，而宏观搜索空间负责建立ST块之间的拓扑关系。
  • AutoCTS采用BI级优化算法，旨在对宏观DAG和多个异质微端DAG进行端到端训练，仅着重于优化体系结构参数。

AutoCTS+

在建立AutoCTS的架构搜索空间后，AutoCTS+进一步实施了超参数和神经体系结构的联合搜索空间，并修改了优化策略，以减少时间和记忆消耗。

  • 在Autocts体系结构搜索空间上，Autocts+在Autocts体系结构搜索空间上设计了建筑和超参数的联合搜索空间，并使用双图编码来统一搜索空间。
  • AutoCTS+使用基于比较的方法，而不是基于梯度的优化策略，使用近似指标收集<模型，性能>元数据，从而大大降低了时间消耗。
  • Autocts+采用迁移学习，以最大程度地降低转移到看不见的数据集时的时间成本。

AutoCTS++

虽然Autocts+利用转移学习来降低看不见的数据集的成本，但它仍然缺乏零成本的转移机制。在Autocts++中，提出了一个任务吸引的模块，从而实现了看不见的任务的零成本概括。

  • Autocts++具有一个新型的任务感知体系结构超参数比较器（T-AHC），该比较器（T-AHC）编码特定于任务的表示。通过对上游任务进行预训练，它可以确定哪些体系结构适合特定任务，从而实现了下游任务的零成本概括。

FACTS: Fully Automated Correlated Time Series Forecasting

在Autocts ++的基础上，FACTS进一步自动化了搜索空间的设计，并加速了在下游任务的搜索过程中发现的体系结构的训练，从而导致了需要几分钟的全自动体系结构搜索过程。

  • FACTS可以根据当前任务自动设计搜索空间，通过迭代修剪过程逐渐完善其，替换手动规则定义并增强发现更好的体系结构的潜力。
  • FACTS引入了一种新颖的参数继承机制，允许针对下游任务发现的架构从先前训练的相似体系结构继承参数，从而加速和增强下游任务上的训练过程。

论文

VLDB 2024 TFB Publication Thumbnail

Fully Automated Correlated Time Series Forecasting in Minutes

Xinle Wu and Xingjian Wu and Dalin Zhang and Miao Zhang and Chenjuan Guo and Bin Yang and Christian S. Jensen

International Conference on Very Large Databases (PVLDB), 2024.

[Bib]

VLDBJ 2024 FACTS Publication Thumbnail

AutoCTS++: zero-shot joint neural architecture and hyperparameter search for correlated time series forecasting

Xinle Wu and Xingjian Wu and Bin Yang and Lekui Zhou and Chenjuan Guo and Xiangfei Qiu and Jilin Hu and Zhenli Sheng and Christian S. Jensen

The International Journal on Very Large Data Bases (VLDBJ), 2024.

[Bib]

SIGMOD 2023 FACTS Publication Thumbnail

AutoCTS+: Joint Neural Architecture and Hyperparameter Search for Correlated Time Series Forecasting

Xinle Wu and Dalin Zhang and Miao Zhang and Chenjuan Guo and Bin Yang and Christian S. Jensen

ACM Special Interest Group on Management of Data (SIGMOD), 2023.

[Bib]

PVLDB 2021 AutoCTS Publication Thumbnail

AutoCTS: Automated Correlated Time Series Forecasting

Xinle Wu and Dalin Zhang and Chenjuan Guo and Chaoyang He and Bin Yang and Christian S. Jensen

International Conference on Very Large Databases (PVLDB), 2021.

[Bib]| [Code]