文章主要内容和创新点主要内容本文聚焦于时间序列预测（TSF）任务，旨在解决现有方法的局限性：大型语言模型（LLMs）擅长处理离散 token 和语义模式，但不适合建模连续数值时间序列；而 vanilla Transformer 虽能直接学习时间序列的 temporal 动态，但难以捕捉高层语义模式。为此，作者提出了一种融合 LLMs 和时间序列 Transformer 的新型架构，通过融合两者的表示，同时保留历史时间动态和语义变化模式，提升预测准确性。实验在多个基准数据集（如 ETT、Weather、ILI 等）上验证了该方法的有效性，性能优于现有 Transformer 基、MLP 基和 LLM 基模型。创新点互补融合架构：首次将 LLMs 的高层语义表示与时间序列 Transformer 的 temporal 信息编码进行互补融合，同时利用两者优势（LLMs 的语义推理能力和 Transformer 的时间动态建模能力）。自适应特征融合模块：设计门控机制（gate mechanism）作为融合层，动态整合 Transformer 的 temporal 表示和 LLM 的语义表示，生成同时包含两种信息的综合表示。LLM 时间序列编码优化：通过提示工程（task prompt、feature prompt 等）和线性投影，将时间序列数据转换为 LLM 可处理的输入形式，引导 LLM 提取时间序列中的语义模式，缓解其文本域偏见对时间序列建模的 Fusing Large Language Models with Temporal Transformers for Time Series Forecasting
文章主要内容和创新点主要内容本文聚焦于时间序列预测（TSF）任务，旨在解决现有方法的局限性：大型语言模型（LLMs）擅长处理离散 token 和语义模式，但不适合建模连续数值时间序列；而 vanilla Transformer 虽能直接学习时间序列的 temporal 动态，但难以捕捉高层语义模式。为此，作者提出了一种融合 LLMs 和时间序列 Transformer 的新型架构，通过融合两者的表示，同时保留历史时间动态和语义变化模式，提升预测准确性。实验在多个基准数据集（如 ETT、Weather、ILI 等）上验证了该方法的有效性，性能优于现有 Transformer 基、MLP 基和 LLM 基模型。创新点互补融合架构：首次将 LLMs 的高层语义表示与时间序列 Transformer 的 temporal 信息编码进行互补融合，同时利用两者优势（LLMs 的语义推理能力和 Transformer 的时间动态建模能力）。自适应特征融合模块：设计门控机制（gate mechanism）作为融合层，动态整合 Transformer 的 temporal 表示和 LLM 的语义表示，生成同时包含两种信息的综合表示。LLM 时间序列编码优化：通过提示工程（task prompt、feature prompt 等）和线性投影，将时间序列数据转换为 LLM 可处理的输入形式，引导 LLM 提取时间序列中的语义模式，缓解其文本域偏见对时间序列建模的 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
