打破孤岛：自适应模型融合解锁更优时序预测
原文标题：Breaking Silos: Adaptive Model Fusion Unlocks Better Time Series Forecasting
期刊：ICML 2024
0 Abstract
时序预测在许多现实世界的应用中扮演着至关重要的角色。尽管人们已经开发出日益强大的模型，并在基准数据集上取得了卓越的成果，但通过对样本级别的细致检查，我们发现：(i) 没有单一模型能在不同测试样本上始终优于其他模型；相反，(ii) 每个模型都在特定情况下表现出色。
这些发现促使我们探索如何针对不同的样本，自适应地利用各种预测模型的独特优势。为此，我们引入了 TIMEFUSE，一个用于集体时序预测的框架，它能够对异构模型进行样本级别的自适应融合。
TIMEFUSE 利用元特征来表征输入时间序列，并训练一个可学习的融合器（fusor）来预测任何给定输入的最佳模型融合权重。该融合器可以利用来自不同数据集的样本进行联合训练，使其能够适应各种时间模式，从而推广到新的输入，甚至是来自未见过的数据集。
大量实验表明，TIMEFUSE 在各种长短期预测任务中都表现出卓越的有效性，实现了对现有最先进的单一模型的近乎普遍的改进。
代码已在 https://github.com/ZhiningLiu1998/TimeFuse 上提供。
1 Introduction
时序预测在各种现实世界的场景中至关重要，并在金融、能源管理、交通规划、医疗保健和气候科学等多个领域受到了广泛关注。由于现实世界系统的复杂性和动态性，观测到的时间序列通常表现出由季节性、趋势、突变和多尺度依赖性混合而成的复杂时间特征，这反过来给时序建模带来了重大挑战。近年来，研究人员一直致力于创建日益复杂的模型，旨在更有效地捕获和预测这些时间动态。
尽管时序建模取得了显著进展，并在基准数据集上实现了越来越好的性能，但通过更细粒度的样本级视角进行仔细检查，却呈现出截然不同的景象，如图 1 所示。具体而言，我们分析了 7 个常用预测数据集上流行的高性能模型在所有测试样本上的表现，并展示了每个模型排名第一的样本百分比。我们的分析突出了两个有趣的发现：(i) 没有普适的赢家：即使是最新的模型，在大多数基准数据集上取得了最先进的结果，也只在高达 23.2% 的测试样本中表现最佳；(ii) 每个模型都有独特且显著的优势：即使是排名靠后的模型，它们仍然在不可忽略的测试样本比例中排名第一。这些发现强调了没有单一模型能够始终优于其他模型，相反，每个模型都有其独特的优点和缺点，通常擅长捕获特定类型的时间模式，例如，TimeMixer具有明确的多尺度混合功能，擅长处理具有高频谱复杂性的样本，而非平稳 Transformer可能更适合处理平稳性较低的样本。这凸显了不单纯依赖单一模型的策略的潜在益处，这促使我们提出了研究问题：
我们如何利用不同模型的多样化和互补能力来实现更好的时序预测？
为了回答这个问题，我们引入了 TIMEFUSE，这是一种新颖的集成时序预测框架，它能够根据每个输入时间序列的独特时间特征，实现样本级别的异构模型自适应融合。与静态组合不同模型的传统集成策略不同，TIMEFUSE 学习了一种动态融合策略，在测试时自适应地组合模型，以高度目标化的方式释放模型多样性的潜力。具体而言，TIMEFUSE 包含两个核心组件：元特征提取器，用于捕获输入时间序列的时间模式；以及可学习的融合器，用于预测每个输入的模型输出的最佳组合。我们采用了一组多样化的元特征来全面表征输入时间序列，包括统计（例如，偏度、峰度）、时间（例如，平稳性、变化率）和频谱（例如，主导频率、频谱熵）描述符。然后，融合器利用这些元特征来预测组合基础模型的最佳权重。在元训练期间，我们训练融合器以最小化各种动态样本的融合预测误差，从而提高其对未见时间模式的适应性。
TIMEFUSE 的设计具有几个关键优势：
- (i) 多功能性：TIMEFUSE 的元训练过程与基础模型的训练解耦，这使得我们能够将具有不同架构的各种模型集成到模型库中，并利用它们独特的优势进行联合预测。
- (ii) 泛化能力：受益于元特征的使用，融合器可以利用来自不同数据集的样本进行联合训练，从而泛化到更广泛的时间模式和输入特征，从而在元训练期间未见的数据集上实现强大的零样本性能。
- (iii) 可解释性：TIMEFUSE 以透明和可解释的方式运行。用户可以检查融合器的输出，以了解不同模型如何对融合预测做出贡献。此外，学习到的融合器权重提供了关于特定输入时间属性（例如，平稳性、频谱复杂性）如何与不同模型的优势对齐的见解。
- (iv) 性能：大量的实验和分析证实了 TIMEFUSE 在实际预测任务中的有效性。通过自适应地利用不同模型的独特优势，TIMEFUSE 在高达 95.1% 的样本上实现了比最先进基础模型更准确的预测，在各种基准长/短期预测任务中实现了近乎普遍的性能改进。
总而言之，我们的贡献分为三个方面：
- (i) 新颖的框架：我们引入了一个新颖的框架，将时序预测的重点从单个模型转移到样本级别的自适应集成方法。这种转变提供了全新的视角，并促进了对模型能力的更全面的理解。
- (ii) 实用算法：我们提出了 TIMEFUSE，一个用于细粒度自适应时序模型融合的多功能解决方案。它以可解释和自适应的方式根据输入时间序列的特征学习和选择最佳模型组合，从而实现更准确的预测。
- (iii) 实证研究：对各种真实世界任务和最先进模型进行的系统实验和分析验证了 TIMEFUSE 的有效性，突出了其作为解决复杂时序预测挑战的多功能工具的强大能力。
2 预备知识
2.1 符号表示
我们首先定义本工作中使用的基本符号和概念。对于具有 \(d\) 个变量的多元时序预测，目标是基于最近 \(T_{in}\) 个时间步的观测值，预测每个变量在接下来 \(T_{out}\) 个时间步的值。形式上，设 \(X_{in}∈\mathbb{R}^{T_{in}×d}\) 表示一个输入时间序列，其中 \(T_{in}\) 表示输入时间步的数量，\(d\) 是变量或特征的数量。形式上，设 \(X_{in}∈\mathbb{R}^{T_{in}×d}\) 表示一个输入时间序列，预测输出表示为 \(X_{out}∈\mathbb{R}^{T_{out×d}}\)。
一个基础时序预测模型被表示为一个函数 \(f:\mathbb{R}^{T_{in}×d}→\mathbb{R}^{T{out}×d}\)，它将输入时间序列映射到预测输出序列。许多具有不同架构设计的模型已经被开发出来，以捕获各种时间模式进行精确预测。在这项工作中，我们利用多个预测模型，共同形成一个集合 \(\mathcal{F}=\{f_1,f_2,…,f_k\}\)，我们称之为模型库（model zoo）。\(\mathcal{F}\) 中的每个 \(f_i\) 都是一个独立训练的模型，为给定的输入提供多样化的预测。如图1所示，不同的时序建模技术具有独特的优势；因此，我们旨在开发一种融合机制，以自适应地利用不同模型的多样化和互补能力。形式上，我们给出问题定义如下：
问题1 (时序预测的样本级自适应融合)。 考虑一个模型库 \(\mathcal{F}=\{f_1,f_2,…,f_k\}\)，它由 \(k\) 个独立训练的具有不同架构的时序预测模型 \(f:\mathbb{R}^{T_{in}×d}→\mathbb{R}^{T{out}×d}\) 组成。问题在于设计一个自适应集成预测机制，该机制对于任何输入时间序列 \(X_{in}\)，都能根据 \(X_{in}\) 的特征动态地利用 \(F\) 中每个模型的优势，以获得相对于真实值 \(X_{out}\) 的最优融合预测 \(\hat{X}^{fuse}\)。
3 方法
本节介绍了用于集体时序预测和样本级自适应融合的 TIMEFUSE 框架。它包含两个主要组件：一个元特征提取器，负责从输入时间序列中提取关键的统计和时间特征描述符；以及一个可学习的模型融合器，它根据元特征训练以预测最佳融合权重。所提出的 TIMEFUSE 框架概览如图 2 所示。
3.1 时序元特征提取
我们首先介绍 TIMEFUSE 的基础：通过提取元特征来表征输入时间序列数据。
为什么不用原始特征？ 为了基于输入时间序列实现动态集成，可以直接使用原始特征 \(X_in\) 训练融合器。尽管这种方法简单，但存在几个根本性缺点：
- (i) 任务依赖性：预测任务在特征维度和输入长度上差异很大，这使得融合器任务特定，增加了训练成本同时降低了灵活性。
- (ii) 过拟合风险：原始特征通常复杂且高维，可能包含不必要的信息和噪声，增加了过拟合的可能性，尤其是在元训练数据有限的情况下。
- (iii) 缺乏语义可解释性：原始特征的复杂性也使得直观地理解和解释融合器的行为变得困难。
元特征的优势。 借鉴特征化时序分析的现有研究，我们选择提取关键元特征，通过保留关键的统计和时间信息来简化高维数据。这种方法带来以下几个好处：
- (i) 多功能性：元特征是与任务无关的描述符，可标准化各种任务的输入特征，增强融合器的适应性并通过跨任务训练有助于泛化。
- (ii) 鲁棒性：降维有助于过滤掉噪声和冗余信息，最大限度地降低过拟合风险并提高在新数据上的泛化能力。我们现在详细介绍所使用的元特征集。
- (iii) 可解释性：元特征提供清晰的语义，例如周期性和谱密度，使得分析这些特征并理解融合器如何执行变得更容易。
元特征详情。 借鉴以往时序特征提取研究，我们精心设计了一组元特征，从四个不同角度表征时序属性：
- (i) 统计特征：描述输入时间序列的分布特征和基本统计量，例如数据的趋势、离散度和对称性。
- (ii) 时间特征：通过描绘输入序列如何演变来捕获输入序列的时间依赖性和动态模式，例如长期趋势、周期性循环和变化率。
- (iii) 频谱特征：通过分析频域中的时间序列得出，例如功率谱密度和频谱熵。它们突出了周期分量的突出性和信号的复杂性。
- (iv) 多元特征：反映多元序列中不同维度之间的关系，例如互相关和协方差。这些特征有助于描述变量之间的依赖结构。
对于非多元元特征，我们使用所有输入变量的平均值进行计算。这些元特征在表 1 中定义和总结。通过消融研究和比较分析，我们证明了这 24 个特征与包含 165 个变量的更复杂的 TSFEL 特征集具有相同的性能，并且每个领域都对整体预测性能做出了显著贡献。这表明我们的特征对输入时间序列的多方面性质提供了全面的描述，有效地支持了后续的自适应模型融合过程。
3.2 可学习融合器实现的自适应模型融合
在对输入时间序列进行元表征之后，我们接下来探讨如何通过训练一个可学习的融合器来实现样本级自适应模型融合。
3.2.1 融合器架构
形式上，设 \(\Psi_\Theta:\mathbb{R}^{d^*}\rightarrow \mathbb{R}^k\) 是由 \(\Theta\) 参数化的模型融合器，而 \(\mathfrak{F}:\mathbb{R}^{T_{in}\times d}\rightarrow \mathbb{R}^{d^*}\) 是元特征提取操作符，其中 \(d^*\) 是元特征的数量。给定一个包含 \(k\) 个模型的模型库 \(\mathcal{F}=\{f_1,f_2,…,f_k\}\) 和一个输入时间序列 \(X_{in}∈\mathbb{R}^{T_{in}×d}\)，我们的融合器 \(\Psi_\Theta(\cdot)\) 将元特征 \(x_{in}^*:=\mathfrak{F}(X_{in})\in\mathbb{R}^{d^*}\) 作为输入，并输出一个权重向量 \(w\in\mathbb{R}^k\)，其中每个元素 \(w_i\) 代表第 \(i\) 个模型 \(f_i\) 在最终预测中的贡献。我们采用 Softmax 函数对 \(w\) 进行归一化，以提高数值稳定性并促进训练。最终的融合预测结果 \(\hat{X}_{out}^*\) 通过 \(\hat{X}_{out}^*:=\sum_{i=1}^kw_if_i(X_{in})\) 得出。
为了优先考虑可解释性和效率，我们的融合器是一个单层神经网络，它学习元特征和模型权重之间的线性映射 \(\Theta\in\mathbb{R}^{d^*\times k}\)。我们注意到，这种简单的架构足以有效且准确地捕获元特征和模型能力之间的关系。使用更复杂的模型结构并不会提高性能，反而会损害简化性，从而影响运行时效率和可解释性。
3.2.2 训练目标
为了实现准确的融合预测，我们训练融合器来预测最佳模型权重向量，以最小化融合输出 \(X_{out}^∗\) 相对于真实值 \(X_{out}\) 的预测误差。形式上，给定模型融合器 \(\Psi_\Theta(\cdot)\) 和元特征提取操作符 \(\mathfrak{F}(\cdot)\)，融合器 \(\Psi(\cdot;\Theta)\) 的训练目标是：
这个目标鼓励模型融合器预测最优权重，使得每个模型 \(f_i\) 的组合预测近似于真实输出 \(X_{out}\)。这里 \(\mathcal{L}(\cdot,\cdot)\) 可以是任何损失函数。在我们的用例中，由于不同模型的架构不同，它们对相同输入的预测可能存在显著差异，因此我们使用 Huber 损失 (Huber, 1992) 来防止异常的单个模型影响融合器训练的稳定性。融合器在保留的验证集 \(\mathcal{D}_{val}\)（在基础模型训练期间未使用）上进行训练，以优化未见数据上的融合预测性能，这也防止了基础模型的潜在过拟合影响融合器的泛化能力。
3.2.3 独立的元训练数据集和流程
如公式 1 所暗示，TIMEFUSE 的元训练仅依赖于元特征 \(\mathfrak{F}(X_{in})\)、基础模型 \(f_i(X_{in})\) 的预测（对于所有 \(1≤i≤k\)），以及真实标签 \(X_{out}\)。因此，融合器的元训练与基础模型训练是解耦的，允许元训练数据集独立收集和存储。形式上，设 \(D^∗\) 为元训练数据集，每个样本可以表示为三元组 (\(x_{in}^∗,\hat{X}_{out},X_{out}\))，其中 \(x_{in}^*:=\mathfrak{F}(X_{in})\in\mathbb{R}^{d^*}\) 是输入时间序列的元特征向量，\(\hat{X}_{out}:=[f_1(X_{in}),f_2(X{in}),…,f_k(X_{in})]∈\mathbb{R}^{k×T_{out}×d}\) 是存储基础模型预测的三维张量，而 \(X_{out}\) 是真实值。元训练的独立性也使得 TIMEFUSE 具有可扩展性：添加新模型只需将其预测并入张量 \(X^{out}\) 并在更新后的元训练集上训练一个新的融合器即可。有了上述公式，我们现在可以将元训练目标重写为：
3.2.4 跨任务元训练与数据混合
最后，受益于任务无关的元特征，融合器可以利用来自多个预测任务的异构数据进行联合训练，从而更好地泛化到各种时间模式和输入特征。然而，在实践中实现跨任务元训练面临两个挑战：
(i) \(\hat{X}_{out}\) 和 \(X_{out}\) 在不同任务中的维度不一致，阻碍了不同任务数据的一致存储和混合检索。
(ii) 不同任务之间的训练样本大小不平衡，可能会降低融合器在样本较少的任务上的性能。
我们提出了一种简单的批级混合和平衡策略来解决这些问题。具体来说，给定来自不同预测任务的 \(m\) 个元训练数据集 \(\{D_1^∗,D_2^∗,…,D_m^∗\}\)，我们对所有数据集进行过采样，以使其大小与最大任务的大小匹配 (\(max_{0≤i≤m}(|D_i^*|)\))，从而平衡数据分布。所有过采样的数据集共同组成了联合元训练数据集 \(D_{joint}^∗\)。此外，为了防止由于连续训练来自单个任务的过采样数据可能导致的过拟合问题，我们在每个训练步骤中交替使用来自每个任务的训练批次。这种动态的训练数据混合促进了融合器在各种任务分布上的泛化。算法1总结了 TIMEFUSE 的主要流程。
4 实验
我们进行了广泛的实验，以评估 TIMEFUSE 的有效性，涵盖长期和短期预测任务，其中包括 16个真实世界基准数据集和 13个基础预测模型。详细的模型和实验配置在附录 A 中呈现。
数据集。
对于长期预测，我们依照先前的研究 (Wang et al., 2024a; Wu et al., 2023; 2021)，在七个广泛使用的基准数据集上评估了我们的方法，包括 ETT 数据集（包含 4 个子集：ETTh1、ETTh2、ETTm1、ETTm2）、Weather (天气)、Electricity (电力) 和 Traffic (交通)。
对于短期预测，我们使用了 PeMS (交通) 数据集 (Chen et al., 2001)，它包括四个公共交通网络数据集（PEMS03/04/07/08），以及 EPF (电力价格预测) 数据集，用于五个主要电力市场（NP、PJM、BE、FR、DE）的电力价格预测，每个市场的数据跨度为六年。这些数据集的详细描述在表 7 中提供。
基础模型。为了评估 TIMEFUSE 基于最先进模型释放卓越预测性能的能力，我们选择了 13个知名且强大的预测模型作为基线。这包括：
- 最新开发的先进预测模型，如利用外生变量的 TimeXer (2024c)。
- 具有可分解多尺度混合的 TimeMixer (2024a)。
- 以及基于 Patching 的模型 PAttn (2024) 和 PatchTST (2023)。
我们还对比了其他强劲的竞争对手，包括 iTransformer (2024a)、TimesNet (2023)、FedFormer (2022)、FreTS (2024)、DLinear (2023a)、Non-stationary Transformer (2022)、LightTS (2022)、InFormer (2021) 和 AutoFormer (2021)。
设置。为确保公平比较，我们采用 TSLib 工具包来实现所有基础模型，并使用官方训练配置中提供的最优超参数。我们使用 L2 损失在每个任务的训练集上训练所有基础模型，并在验证集上收集元训练数据。对于每个预测长度，我们使用来自不同任务的数据联合训练一个融合器，并报告在测试集上融合预测的性能。更多可复现性细节可在附录 A 中找到。
4.1 主要结果
长期预测。 如表 2 所示，通过动态利用和结合不同基础模型的优势，TIMEFUSE 始终优于所有任务中最先进的单一模型，涵盖了各种频率、变量数量和真实应用领域的时间序列。我们还注意到，最优的单一模型在不同任务和指标之间有所不同：虽然 TimeXer 通过建模外生变量在大多数长期预测任务中表现出色，但 TimeMixer 、iTransformer 和 FedFormer 等其他模型仍在某些任务中脱颖而出，成为表现最佳的模型。
相比之下，我们提出的 TIMEFUSE 通过整合它们的优势，持续在不同任务中取得优异结果，超越了针对特定任务的最佳模型。与这些 SOTA 模型相比，TIMEFUSE 在七个数据集上，相对于 TXer/Tmixer/PAttn/iTF，平均 MSE 分别降低了 3.61%/6.88%/11.77%/8.39%，这证明了所提出的 TIMEFUSE 框架的有效性和多功能性。
短期预测。 TIMEFUSE 在短期预测任务中也展现出卓越的性能。如表 3 所示，在 PEMS 数据集上，尽管 iTransformer 在这项任务中取得了整体最佳性能，但 TimeXer 和基于 MLP 的 LightTS 等模型在许多情况下也表现出色。通过动态利用它们各自的优势，TIMEFUSE 实现了普遍增强的性能，在所有场景中始终提供最优的预测结果。与前三个单一模型：TimeXer、iTransformer 和 LightTS 相比，TIMEFUSE 的平均 MAPE 分别降低了 20.46%、9.89% 和 15.37%。在表 4 中报告的 EPF 数据集上，虽然 TimeXer 在数据集层面表现出显著优势，但 TIMEFUSE 仍然通过样本级自适应融合整合不同模型的能力，持续在所有五个任务中实现更准确的预测。这进一步强调了不同模型的独特优势以及通过自适应模型融合将其结合起来的重要性。
与集成方法的比较。 我们进一步比较了 TIMEFUSE 与常用的异构模型融合的平均/中位数集成方法的性能。为了充分发挥静态集成的潜力，我们进一步采用了基于验证性能的 Top-k 模型选择策略，并测试了 Top-k 模型的平均/中位数集成。图 3 显示了长期预测数据集上的结果。我们观察到：(1) TIMEFUSE 的自适应融合策略始终优于所有任务中的静态集成策略，即使静态集成也配备了基于验证性能的模型过滤策略。(2) 静态集成的最优模型集在不同数据集之间差异显著，例如，平均集成在 ETTh1 数据集上包含 10 个模型时取得了最佳结果，而在交通数据集上只需要 Top 2 个模型。在实践中，为每个数据集找到最优模型集是繁琐的，这凸显了静态集成策略的局限性。相比之下，TIMEFUSE 动态地学习每个样本（以及因此的每个数据集）的最优集成策略，我们将在下一节中进一步讨论。
4.2 进一步分析
TIMEFUSE 学习自适应融合策略。 为了直观地理解 TIMEFUSE 如何在不同数据集和样本上学习不同的融合策略，图 4 显示了 TIMEFUSE 在不同数据集上给出的平均模型融合权重，其中变化条表示每个数据集中样本之间的标准差。可以看出，TIMEFUSE 自适应地生成了多样化的集成策略。值得注意的是，在某些数据集（例如 ETTh1/m1）上，TIMEFUSE 选择对各种模型进行动态集成，而在其他数据集（例如 Electricity/Traffic）上，它只选择性地集成了少数特定模型。这与图 3 中的观察结果相呼应，即一些数据集受益于广泛的模型集成，而另一些则受益于更具选择性的集成，这进一步证明了 TIMEFUSE 学习有效和自适应集成策略的能力。
TIMEFUSE 随着模型库的多样性而改进。 为了评估 TIMEFUSE 是否可以利用新兴模型进一步增强其能力，我们检查了随着新模型引入模型库，融合预测性能如何变化。具体来说，我们测试了 TIMEFUSE 在预测长度为 96 的长期预测数据集上，从只包含 Informer 和 Autoformer 的模型库开始，然后按照表 2 中的顺序（从右到左）依次添加更新的模型。图 5 显示了 7 个数据集上的平均 MAE 和 MSE。我们可以观察到，随着集成更多样化的基础模型，TIMEFUSE 实现了越来越好的预测性能。这表明 TIMEFUSE 受益于新模型的能力以及它们为模型库带来的额外多样性，从而随着未来出现更先进的预测模型而实现持续的性能改进。
对未见数据集的零样本泛化。 如前所述，TIMEFUSE 基于与任务无关的元特征运行。这使得它可以在各种数据集上联合训练以增强其泛化能力，并且可以在任何数据集上执行推理，即使在元训练期间未见的数据集（即零样本泛化）。为了验证这一点，我们评估了零样本 TIMEFUSE 在长期（预测长度 96）和短期（PEMS，预测长度 6）预测任务上的表现。对于每个目标数据集，我们使用所有其他数据集训练一个融合器，然后在目标数据集上进行测试。如表 5 所示，零样本 TIMEFUSE 在大多数情况下仍然优于最佳的单一模型，表现出强大的零样本泛化性能。
元特征的消融研究和比较研究。 我们还进行了实验来验证所使用的元特征的有效性。我们将我们 24 个变量的元特征集与更复杂的包含 165 个变量的 TSFEL (Barandas et al., 2020) 特征集进行比较，并通过从元特征集中删除每个领域的特征进行消融研究。表 6 显示了长期/短期预测（预测长度 96/6）的 MAE。可以看出，我们的元特征集对输入时间序列的多方面性质提供了全面的描述，与复杂的 TSFEL 集的性能相匹配，并且每个领域都做出了显著贡献。
学习到的融合器权重的可视化。 最后，我们注意到融合器本质上学习了一个关于特定输入时间属性（例如，平稳性、谱复杂性）如何与不同模型的优势相对应的映射。我们在图 6 中可视化了长期预测数据集上学习到的融合器权重（为清晰起见，仅显示了部分元特征）。以元特征“平稳性”为例，它对应于非平稳 Transformer 的较大的负权重，这表明当输入显示较低平稳性时，该模型的权重更大，这与其处理非平稳动态的能力相符。类似地，TimeMixer 通过多尺度混合建模复杂频率模式的优势也反映在学习到的融合器权重中。我们注意到这些优势是相对的：它们表示模型在处理具有特定属性的样本时相对于模型库中其他模型的相对强度。尽管如此，这种理解可以帮助用户掌握不同模型的相对优势和劣势，并为进一步改进提供见解。
与 AutoML 基线和更多分析的比较。 我们在附录 B 中包含了额外的实验，以进一步验证 TIMEFUSE 的鲁棒性和实用性。这包括与先进集成策略的比较，例如基于投资组合、零样本和 AutoML 驱动的方法，以及预训练的基础模型（B.3 节）。我们还报告了融合器相对于基础模型的推理效率（B.1 节），并评估了在长达 512 个输入时间范围内的性能（B.2 节）。结果表明，TIMEFUSE 在各种预测场景中仍然有效、高效且具有适应性。
5 相关工作
5.1 时序预测
时序预测是一个关键的研究领域，在现实世界中有丰富的应用 (Lim & Zohren, 2021)。已经有无数的时序建模技术被提出，每种都有其独特的侧重点。传统统计方法 (Anderson, 1976) 可以处理周期性趋势，但在复杂的非线性动态方面表现不佳。后来基于循环神经网络 (RNN) (Lai et al., 2018) 和卷积神经网络 (CNN) (Franceschi et al., 2019) 的工作可以建模更复杂的时间模式，但由于马尔可夫假设或有限的感受野，它们在处理长距离依赖时仍然存在困难。TimesNet (Wu et al., 2023) 通过将一维序列转换为二维格式来解决这个问题，增强了远距离模式识别。同时，基于 Transformer 的模型，如 PatchTST (Nie et al., 2023) 和 iTransformer (Liu et al., 2024a)，利用自注意力机制来建模长距离依赖。最近的研究进一步提出通过多尺度混合 (Wang et al., 2024a)、集成外生变量 (Wang et al., 2024c) 或多模态知识 (Li et al., 2025) 来改进预测。尽管取得了这些进展，但我们的样本级检查表明，没有单一模型能够普遍表现出色，这促使我们研究如何利用各种模型的不同优势来增强联合预测。
5.2 集成学习
集成学习是一种通用的策略，通过聚合多个模型的输出来获得鲁棒的预测 (Mienye & Sun, 2022)。典型的集成方法通常采用可快速训练的弱基础学习器，如决策树 (Sagi & Rokach, 2018)。由于时序数据建模的复杂性，时序预测集成的研究一直有限。举例来说，Kourentzes et al. (2014) 和 Oliveira & Torgo (2015) 探讨了平均/中位数和 bagging 集成在时序预测任务中的潜力。Yu et al. (2017) 使用多个 MLP 在不同特征集上实现加性预测，这种方法类似于随机子空间集成 (Ho, 1998)，而 Choi & Lee (2018) 进一步集成了多个 LSTM。然而，这些研究局限于单一模型架构，侧重于基于不同数据集视图训练多个相同类型的模型以进行静态同质集成。相比之下，我们的工作实现了具有各种架构的模型的动态异构集成。通过采用样本级自适应模型融合，我们动态地整合不同模型的优势，以实现更优越的联合预测。
6 结论
我们提出了 TIMEFUSE，一个多功能的框架，用于时序预测的集成学习与样本级自适应模型融合。它以可解释和自适应的方式，根据输入时间序列的特征学习并选择最优的模型组合，从而实现更准确的预测。在我们所有的实验中，TIMEFUSE 通过在测试时动态利用不同模型的优势，始终实现新的最先进性能，这突出显示了其作为解决复杂时序预测挑战的多功能工具的强大能力。