该文章提出了一种基于时序大语言模型的动态主题演化建模框架，通过融合时间衰减函数与注意力机制，有效捕捉主题随时间的生成、扩展与衰退过程，在多个真实语料实验中表现优于现有模型。一、文章主要内容总结研究背景：传统主题建模方法基于静态假设，无法捕捉主题随环境、政策、技术等因素的动态演化，而金融、医疗、舆情监控等领域亟需理解主题的时序变化以支持决策。核心方法：首先利用大语言模型获取文本的上下文嵌入，为主题识别提供基础特征。引入时间衰减函数（如指数衰减形式）与注意力机制，根据时间间隔调整语义单元权重，突出近期语义、弱化远期语义。将时序表征映射到潜在主题空间，通过状态转移矩阵描述主题动态演化，并设计联合优化目标，同时约束语义建模与时间一致性。实验验证：基于20 Newsgroups数据集实验，所提模型在困惑度（Perplexity）、多样性（Diversity）、主题连贯性（Topic Coherence）和主题稳定性（Topic Stability）四项指标上均优于LDA、BERT、DeBERTa等现有模型；此外，还分析了隐藏层维度、时间序列长度对模型性能的影响，确定了最优参数范围。应用与展望：模型可应用于金融（市场情绪追踪）、医疗（文献与临床记录分析）、社会治理（舆情监控）等领域；未来计划探索多维度时序建模（如融合外部事件与因果结构），并扩展至跨语言、跨领域语料及多模态数据。 Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models
该文章提出了一种基于时序大语言模型的动态主题演化建模框架，通过融合时间衰减函数与注意力机制，有效捕捉主题随时间的生成、扩展与衰退过程，在多个真实语料实验中表现优于现有模型。一、文章主要内容总结研究背景：传统主题建模方法基于静态假设，无法捕捉主题随环境、政策、技术等因素的动态演化，而金融、医疗、舆情监控等领域亟需理解主题的时序变化以支持决策。核心方法：首先利用大语言模型获取文本的上下文嵌入，为主题识别提供基础特征。引入时间衰减函数（如指数衰减形式）与注意力机制，根据时间间隔调整语义单元权重，突出近期语义、弱化远期语义。将时序表征映射到潜在主题空间，通过状态转移矩阵描述主题动态演化，并设计联合优化目标，同时约束语义建模与时间一致性。实验验证：基于20 Newsgroups数据集实验，所提模型在困惑度（Perplexity）、多样性（Diversity）、主题连贯性（Topic Coherence）和主题稳定性（Topic Stability）四项指标上均优于LDA、BERT、DeBERTa等现有模型；此外，还分析了隐藏层维度、时间序列长度对模型性能的影响，确定了最优参数范围。应用与展望：模型可应用于金融（市场情绪追踪）、医疗（文献与临床记录分析）、社会治理（舆情监控）等领域；未来计划探索多维度时序建模（如融合外部事件与因果结构），并扩展至跨语言、跨领域语料及多模态数据。 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
