简介：这份源码资源面向希望掌握用户评论情感分析与趋势预测的Python开发者、数据分析学习者及企业研究人员，提供了一套从数据抓取、清洗到情感计算与时间序列预测的完整项目实现。包内共795个文件，以716个Python源文件为核心，辅以20个可执行文件、14个文本词表、6个XML配置、3个CSV数据文件及若干依赖与脚本文件，压缩包约14.9MB。项目围绕爬虫采集、BERT与SnowNlp情感分析、时间序列趋势预测等模块展开，并配有正面词、负面词与停用词表，以及数据预处理和情感分析结果数据，便于读者理解完整工作流。目前已有272人学习下载。对于想快速搭建评论分析管线、复现情感分类与趋势预测实验的读者，可从中获得模块划分思路、模型调用方式与数据处理范式，具备较高的参考与二次开发价值。
1. 从一堆评论到一条趋势线：Python 情感分析与趋势预测到底在做什么
电商后台躺着 12 万条用户评论，运营想知道下个月哪类问题会集中爆发，靠人工翻到天亮也翻不完。基于 Python 的用户评论情感分析与趋势预测要解决的正是这件事：把非结构化的中文评论批量转成情感极性分数，再按时间聚合，用时间序列模型外推未来走势。它适合有 Python 基础、手头有评论数据、需要给业务方一个「未来两周口碑会怎么走」判断的从业者。整套链路不复杂——采集清洗、分词、情感打分、按天聚合、趋势外推，五步能跑通。真正难的是中文分词的边界、情感词典的领域漂移，以及趋势预测里那点容易被忽略的平稳性检验。下面按我实际落地的顺序拆开讲，代码可直接抄。
2. 数据清洗与中文分词：把评论变成模型能吃的输入
2.1 为什么原始评论不能直接喂给模型
爬下来或导出的评论通常长这样：带 HTML 标签、带表情符号、带「好评！下次还来~」这种口语，还有大量重复刷单文本。直接丢进情感模型，准确率会被噪声拉低十几个点。我一般先做三件事：去标签与特殊字符、去重、过滤过短文本（少于 4 个字的评论信息量太低）。中文还有一个坑——标点和停用词不处理，分词结果会混入大量「的」「了」「啊」，这些词对情感判断毫无贡献，却会稀释关键词权重。
清洗的目标不是把文本变干净，而是保留情感信号。比如「质量太差了！！！」里的感叹号其实是强度信号，全删掉反而丢信息。我的做法是保留标点用于后续强度加权，只去 HTML 和 URL。
2.2 用 jieba 做分词与停用词过滤的最小代码
import re import jieba # 加载停用词表，一行一个词 with open("stopwords.txt", encoding="utf-8") as f: stopwords = set(line.strip() for line in f) def clean_text(text): # 去掉 HTML 标签和 URL，保留中文、英文、数字和常用标点 text = re.sub(r"<[^>]+>", "", text) text = re.sub(r"https?://\S+", "", text) text = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9，。！？~]", "", text) return text.strip() def tokenize(text): text = clean_text(text) # 精确模式分词，过滤停用词和单字 words = [w for w in jieba.lcut(text) if w not in stopwords and len(w) > 1] return words # 测试 raw = "质量太差了！！！物流慢得要死，下次不买了" print(tokenize(raw)) # 输出大致为 ['质量', '太差', '物流', '慢得要死', '下次', '不买']逻辑说明：clean_text用正则剥离标签和链接，同时保留中文、字母、数字和几个关键标点；tokenize走 jieba 精确模式，过滤停用词和单字。参数上，len(w) > 1这个阈值可以调，如果你的评论里「差」「好」这类单字情感词很关键，就改成>= 1，但会引入更多噪声。停用词表建议用哈工大或百度停用词表打底，再手动加业务词，比如「亲」「包邮」这类在电商场景无情感倾向的词。
2.3 自定义词典解决领域词被切碎的问题
通用分词器遇到「续航崩了」「屏幕漏光」会把「续航」「漏光」切错。血泪经验是：一定要加载自定义词典。把产品名、行业术语、网络新词整理成一行一个词的 txt，用jieba.load_userdict加载。这一步不做，后面情感打分会对关键词完全失焦。
jieba.load_userdict("user_dict.txt") # user_dict.txt 内容示例： # 续航 # 漏光 # 性价比 # 翻车加载后重新分词，「续航崩了」会切成['续航', '崩']，情感词「崩」就能被词典命中。自定义词典的维护是个持续活，建议每周从新评论里抽高频未登录词补充。
3. 情感打分：词典法、模型法怎么选，分数怎么算
3.1 三种主流方案的成本与精度对比
| 方案 | 依赖 | 准确率（中文评论） | 上手成本 | 适用场景 |
|---|---|---|---|---|
| 情感词典 | 词典+规则 | 70%~80% | 低 | 快速验证、无标注数据 |
| 机器学习 | 标注数据+sklearn | 82%~88% | 中 | 有几千条标注 |
| 预训练模型 | transformers | 90%+ | 高 | 精度要求高、有 GPU |
我一般先用词典法跑通全链路，拿到基线分数，再决定要不要上模型。很多业务场景 80% 的准确率已经够用，硬上 BERT 反而拖慢迭代。
3.2 基于 SnowNLP 与自定义词典的快速打分
from snownlp import SnowNLP def sentiment_score(text): # SnowNLP 返回 0~1，越接近 1 越正面 s = SnowNLP(text) return s.sentiments # 批量打分 comments = ["质量很好，物流快", "太差了，再也不买", "一般般吧"] for c in comments: score = sentiment_score(c) label = "正面" if score > 0.6 else ("负面" if score < 0.4 else "中性") print(f"{c} -> {score:.2f} ({label})")逻辑说明：SnowNLP 自带一个电商评论训练的模型，开箱即用。阈值 0.6 和 0.4 是我在多个项目里调出来的经验值，中性区间留宽一点能减少误判。参数上，如果你发现某类评论系统性偏正面，可以整体平移阈值。注意 SnowNLP 对反讽和双重否定处理很差，「不是不好用」会被判成负面，这类样本需要单独规则兜底。
3.3 用情感词典做可解释的加权打分
模型法黑匣子，业务方问「为什么这条是负面」你答不上来。词典法虽然精度低，但可解释。核心思路：正面词 +1，负面词 -1，程度副词（很、非常）乘 1.5，否定词（不、没）翻转极性。
pos_words = set(open("pos.txt", encoding="utf-8").read().split()) neg_words = set(open("neg.txt", encoding="utf-8").read().split()) degree_words = {"很": 1.5, "非常": 1.8, "太": 1.6, "有点": 0.8} negation = {"不", "没", "无", "别"} def dict_score(words): score, i = 0, 0 while i < len(words): w = words[i] # 检查前一个词是否否定或程度副词 prev = words[i-1] if i > 0 else "" weight = degree_words.get(prev, 1.0) if w in pos_words: score += 1 * weight * (-1 if prev in negation else 1) elif w in neg_words: score -= 1 * weight * (-1 if prev in negation else 1) i += 1 return score逻辑说明：遍历分词结果，遇到情感词时看前一个词是不是程度副词或否定词，动态调整权重和极性。参数上，degree_words的倍数可以按业务调，negation集合要覆盖你数据里出现的所有否定表达。这个函数返回的是原始分，建议再做一次归一化到 [-1, 1] 方便和模型分对齐。
4. 趋势预测：把每日情感均值变成可外推的时间序列
4.1 按天聚合与缺失日期补齐
情感分算完后，按评论日期分组求均值，得到一条时间序列。坑在于：某天没有评论，序列就断了，直接喂给 ARIMA 会报错或结果失真。必须补齐缺失日期，用前向填充或插值。
import pandas as pd # df 含 date 和 score 两列 df["date"] = pd.to_datetime(df["date"]) daily = df.groupby("date")["score"].mean().reset_index() # 补齐缺失日期 full_range = pd.date_range(daily["date"].min(), daily["date"].max(), freq="D") daily = daily.set_index("date").reindex(full_range) daily["score"] = daily["score"].interpolate(method="linear") daily = daily.reset_index().rename(columns={"index": "date"})逻辑说明：reindex把缺失日期补成 NaN，再用线性插值填上。参数上，interpolate的 method 可选linear、time、nearest，评论量少时用nearest更稳。补齐后建议画一眼折线图，确认没有异常跳变。
4.2 ARIMA 建模与平稳性检验
ARIMA 要求序列平稳，不平稳就差分。先用 ADF 检验判断，再定阶。
from statsmodels.tsa.arima.model import ARIMA from statsmodels.tsa.stattools import adfuller series = daily.set_index("date")["score"] # ADF 检验 adf_result = adfuller(series.dropna()) print(f"ADF p-value: {adf_result[1]:.4f}") # p < 0.05 认为平稳，否则差分 # 差分次数 d d = 0 if adf_result[1] < 0.05 else 1 # 拟合 ARIMA(1, d, 1)，阶数可用 AIC 网格搜索 model = ARIMA(series, order=(1, d, 1)) result = model.fit() # 预测未来 7 天 forecast = result.forecast(steps=7) print(forecast)逻辑说明：ADF 检验的 p 值小于 0.05 说明序列平稳，d 取 0；否则差分一次再检验。order=(p, d, q)里 p 和 q 我一般先用 (1,1) 试，再用 AIC 准则在 0~3 范围内网格搜索。参数上，forecast(steps=7)输出未来 7 天预测值，建议同时取置信区间，业务方更关心「最坏会跌到多少」。
4.3 用 Prophet 做带节假日的趋势外推
ARIMA 对节假日效应无能为力，大促期间评论情感会异常波动。Prophet 内置节假日和变点检测，更适合业务场景。
from prophet import Prophet prophet_df = daily.rename(columns={"date": "ds", "score": "y"}) m = Prophet(changepoint_prior_scale=0.05, yearly_seasonality=False) m.add_country_holidays(country_name="CN") m.fit(prophet_df) future = m.make_future_dataframe(periods=14) forecast = m.predict(future) print(forecast[["ds", "yhat", "yhat_lower", "yhat_upper"]].tail(14))逻辑说明：changepoint_prior_scale控制趋势灵活度，越大越容易过拟合，0.05 是保守值。add_country_holidays加入中国节假日，大促和假期的影响会被单独建模。参数上，如果数据不足一年，yearly_seasonality关掉，否则会过拟合。输出里的yhat_lower和yhat_upper是 80% 置信区间，给业务方汇报时比单点预测更有说服力。
5. 避坑与排查：情感分析和趋势预测里最容易翻车的 5 个点
5.1 现象：情感分整体偏高，负面评论被判成正面
原因：SnowNLP 默认模型在数码、家电类评论上偏乐观，且对反讽无识别能力。解决：用业务数据抽样 200 条人工标注，算混淆矩阵，如果负面召回率低于 70%，就换词典法或微调模型。我一般会加一条规则：评论里出现「退货」「投诉」「差评」等强负面词，直接判负面，覆盖模型输出。
5.2 现象：趋势预测结果是一条直线
原因：序列方差太小或差分过度，ARIMA 退化成均值预测。解决：先看原始序列的波动范围，如果情感分长期在 0.5 附近小幅波动，预测本来就没意义。检查d是否取大了，用 ADF 重新确认。另外，评论量太少（每天少于 10 条）时，均值噪声大，建议按周聚合而不是按天。
5.3 现象：Prophet 预测出现负值
原因：Prophet 不做值域约束，情感分本应在 [0,1] 或 [-1,1]，外推时可能越界。解决：对预测结果做截断，forecast["yhat"] = forecast["yhat"].clip(0, 1)。更稳妥的做法是先对情感分做 logit 变换，预测后再逆变换，但会增加复杂度，看业务能否接受截断。
5.4 现象：分词后关键词全被切碎，情感词命中率低
原因：未加载自定义词典，或停用词表把情感词误删。解决：检查停用词表里有没有「好」「差」「烂」这类词，有就删掉。自定义词典必须加载，且要定期更新。我习惯在分词后打印词频 Top50，肉眼扫一遍，发现切错的词立刻补进词典。
5.5 现象：预测结果和业务直觉完全相反
原因：训练数据里混入了刷单评论或水军文本，情感分布被污染。解决：先做去重和异常检测，比如同一用户短时间大量评论、文本高度重复的，直接剔除。另外，大促期间的评论情感天然偏高，如果训练集全是大促数据，预测日常就会失真。建议按时间段分层抽样，保证训练集覆盖平销期和大促期。
6. 进阶技巧：用滚动预测验证模型，别等上线才发现不准
趋势预测最怕的是「拟合得很好，一预测就废」。我踩过的坑是：用全量数据训练，看历史拟合曲线完美，结果上线后预测偏差 30%。后来改成滚动预测验证——每次用前 N 天训练，预测第 N+1 天，然后窗口向前滑动一天，重复 30 次，算预测值和真实值的 MAE。这个指标才是模型真实水平的照妖镜。
from sklearn.metrics import mean_absolute_error errors = [] window = 60 # 用前 60 天训练 for i in range(window, len(series) - 1): train = series.iloc[i-window:i] test = series.iloc[i] try: model = ARIMA(train, order=(1, 1, 1)).fit() pred = model.forecast(steps=1).iloc[0] errors.append(abs(pred - test)) except Exception: continue print(f"滚动预测 MAE: {sum(errors)/len(errors):.4f}")逻辑说明：窗口从 60 天开始，每次训练集向前滚动一天，预测下一天，累计绝对误差。参数上，window取 30~90 都行，数据波动大就取大一点。MAE 低于 0.1 算可用，高于 0.2 就得回头检查数据质量或换模型。这个验证跑一次大概几分钟，但能帮你省掉上线后被业务方追着问「为什么不准」的尴尬。
另一个习惯：把情感分和评论量两个序列一起看。有时候情感分没跌，但评论量暴涨，说明问题在扩散，只是还没反映到情感均值上。趋势预测不能只盯一个指标，双序列交叉验证才靠谱。希望帮到你。
本文还有配套的精品资源，点击获取
