简介该项目是基于机器学习的商品评论情感分析毕业设计面向计算机相关专业学生、NLP初学者及需要完成毕业设计的开发者。项目完整覆盖数据预处理、特征提取、模型选择与训练、性能评估等核心环节包含朴素贝叶斯、SVM、随机森林、XGBoost、LSTM等模型实现并配有GUI界面、爬虫工具和训练好的模型文件。资源共43个文件以Python脚本、CSV数据、pkl/h5模型文件、XML配置等为主其中py脚本对应情感分析流程、爬虫与可视化csv/xls为标注数据集pkl/h5为训练产物压缩包约66.66MB目录结构清晰便于按模块复现。该资源提供完整项目代码、Git版本管理配置、超参数调优思路及结果可视化脚本可直接运行或二次开发适合用于课程设计或毕设参考。目前已有167人学习具备较高的实践参考价值。1. 拿到这份「商品评论情感分析」代码包先别急着解压打开一个名为基于机器学习的商品评论情感分析——毕业设计项目.zip的压缩包里面装的通常是一套完整的 Python 工程爬虫脚本、数据清洗模块、特征工程代码、训练好的模型文件和可视化脚本。这类项目在毕业设计里非常常见核心任务是给定一批商品评论让机器学习模型判断每条评论是好评还是差评或者更细粒度地分成“物流慢”“质量差”“性价比高”等维度。它解决的是电商场景里“人工看不完海量评论”的问题也是 NLP 入门最经典、最容易出成果的方向。很多人解压后第一件事是右键全部运行然后被ModuleNotFoundError和中文乱码砸晕。我建议你先冷静下来按数据、特征、模型的顺序把代码读一遍。这篇笔记会按一条靠谱的落地路径把整个项目讲清楚数据怎么整理、特征怎么提、模型怎么选、哪些参数值得调以及我踩过的几个坑。适合正在做毕设、或者想把这个方向做成一个小作品集项目的读者。2. 数据准备评论数据从哪里来清洗到什么程度才能用2.1 数据源的三种常见做法与选型理由情感分析项目第一步是拿数据但这一步恰恰是多数人翻车的起点。常见的数据来源有三种公开数据集、爬虫抓取、手工标注三者的成本和效果差别很大。公开数据集如电商评论语料、影评情感分类数据集省去采集和清洗的时间但评论内容和你要分析的场景可能不匹配比如做零食评论分析却拿了数码产品评论语料模型学到的“开机快”“屏幕清晰”压根派不上用场。用爬虫抓取京东、淘宝的商品评论是最贴合真实场景的方式但注释里要清楚标注采集时间和商品类目因为评论分布会随促销活动波动比如双十一期间的物流抱怨噪点明显偏高。手工标注适合数据量小、领域特别专的场景但一致性差两个人对“还行”到底算好评还是中评的判断经常不一致。我自己的建议是如果只是做毕业设计先找一份已经标注好的中文评论语料跑通全流程再用爬虫抓几百条自己定义的目标商品评论做验证。这样既保证训练数据质量又能证明你的模型在真实数据上可用。注意爬取时要遵循目标网站的 robots 协议只抓公开页面、控制请求频率这是基本底线。2.2 从原始评论到干净语料清洗代码与每一步在做什么不管数据来自哪个渠道落到本地后基本都是 JSON 或 CSV 格式。先用 pandas 读进来然后做去重、去空、去噪。下面这段代码是清洗环节最常见的处理流程后面接标注、训练可以省掉大量编码相关的隐性问题。import pandas as pd import re # 读取原始评论文件 df pd.read_csv(comments.csv, encodingutf-8) print(f原始数据: {len(df)} 条) # 1. 丢弃没有评论内容的行 df df[df[comment].notna()] # 2. 去除完全重复的评论 df df.drop_duplicates(subset[comment], keepfirst) # 3. 过滤过短评论长度小于 2 的没有分析价值 df df[df[comment].str.len() 2] # 4. 去除URL、符号、乱码字符 def clean_text(text): text re.sub(rhttps?://\S|www\.\S, , text) text re.sub(r\w, , text) text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) return text.strip() df[comment] df[comment].apply(clean_text) # 5. 按照评论长度排序方便后面抽样检查 df df.sort_values(comment, keylambda x: x.str.len(), ascendingFalse) df.to_csv(comments_cleaned.csv, indexFalse, encodingutf-8-sig) print(f清洗后: {len(df)} 条)这段代码里第四步正则替换的处理非常关键。原始评论里大量混着表情符号、图片占位符、URL这些噪声如果留在语料里会直接影响分词效果和 TF-IDF 的统计结果。utf-8-sig编码输出是为了在 Windows 上用 Excel 打开 CSV 时不出现乱码这一个设置就能省掉很多沟通成本。清洗环节还有一个经常被忽略的操作长度排序后人工抽查。我会顺手抽 50 条看一遍确认清洗后的文本还保留着完整的评价信息。有时候正则写得太激进会把“苹果12”里的数字删掉导致“苹果 ”这种残缺实体出现那是清洗规则误伤了。2.3 标签体系二分类还是多分类直接决定模型选型清洗完毕后面临一个关键决策标注几类最省事的是二分类把评分大于等于 4 的视为“好评”小于等于 2 的视为“差评”3 分算中性可以直接丢掉。这样模型只区分两个类别准确率做到 85% 以上相对容易适合时间紧的情况。但如果毕业设计想多展示一些工作量建议保留中性评论做成三分类任务。三分类会明显拉低整套系统的准确率因为中性评论在真实电商场景里边界最模糊“一般般”“还行”“凑合”这些词让标注员都头疼。还有一个常见做法是维度拆分把评论拆成“物流”“质量”“客服”“性价比”几个维度每个维度单独训练一个二分类模型。这样展示起来很有说服力但训练样本必须足够支撑维度细分。如果总共只有 5000 条评论分四个维度后每个维度只剩 1200 条样本模型表现会很不稳定。建议一万条以下就做二分类或三分类别贪多。标注这块如果实在缺人可以用评分作为弱标签先行粗标再用主动学习挑选模型置信度最低的样本让人工修正。不过对毕设场景直接用评分映射到标签再人工抽检三百条修正其中的噪声性价比最高。3. 特征工程把中文评论变成矩阵TF-IDF 和词向量的差异3.1 为什么 TF-IDF 比 Word2Vec 更适合这个项目初学机器学习的人常犯一个错误听说 Word2Vec 是“更先进”的特征方式就直接给评论套词向量结果训练时间涨了几倍、模型效果还退步了。原因是商品评论语料通常只有几千到几万条数据量不足以让 Word2Vec 训练出高质量的词嵌入。相比之下TF-IDF 不依赖外部语料只需要当前数据集的词频统计就能得到特征矩阵在小数据集上训练快、结果稳定和线性模型的搭配效果好。传统机器学习方法在短文本分类任务上有一个显著优势可解释性好。TF-IDF 给出的特征权重能直接追溯回具体的词比如“垃圾”“差评”“退货”这些词的高权重解释给导师听很容易。而 Word2Vec 得到的向量沉入黑匣子除非严重翻车不然很难说出个所以然。当然如果你的数据集特别大比如几十万条评论或者有条件加载一个在通用语料上预训练好的词向量再用文本向量化比如把所有词向量取平均做特征是可以提升效果的。但这不是这个标题下最可靠的第一步方案。我一般建议毕设项目先用 TF-IDF 建基线跑通后如果时间充裕再换预训练词向量对比实验这样即使用词向量失败了你还有基线结果兜底。3.2 TF-IDF 特征构建代码ngram 范围和 max_features 的真实影响from sklearn.feature_extraction.text import TfidfVectorizer import jieba # 载入清洗后的评论 df pd.read_csv(comments_cleaned.csv, encodingutf-8-sig) comments df[comment].tolist() labels df[label].tolist() # 先做分词评论这种短文本不提前分词会让特征变成整句毫无意义 def tokenize(text): return .join(jieba.cut(text)) comments_cut [tokenize(c) for c in comments] # TF-IDF 向量化关键是 ngram_range 和 max_features vectorizer TfidfVectorizer( token_patternr(?u)\b\w\b, ngram_range(1, 2), max_features8000, min_df2, max_df0.8 ) X vectorizer.fit_transform(comments_cut) print(f特征矩阵尺寸: {X.shape})这段代码里有四个参数值得展开说明。ngram_range(1, 2)表示特征同时包含单个词和连续两个词的组合比如“不”加“好吃”组合成“不好吃”比单独看“好吃”能捕捉到更多否定语义。max_features8000是控制维度上限防止特征矩阵过大导致内存吃紧训练速度也更快。min_df2表示只保留至少在 2 条评论里出现过的词那些只有一条评论里的生僻词对分类没有统计意义。max_df0.8表示去掉在超过 80% 评论中都出现的词这类词多半是“的”“了”“就”这种停用词级别的高频词区分度极低。参数不是越大越好。有同学把max_features调到 50000结果矩阵直接占掉几个 GB 内存网格搜索一跑就卡死。也有同学把ngram_range设成(1, 3)指望效果更好结果训练时间成倍增加、效果几乎没变。对商品评论这种短文本二元词组已经足够表达否定结构和程度副词三元组带来的收益可以忽略不计。3.3 标签不平衡与特征矩阵的边界问题商品评论的标签分布天然不平衡好评占比常常超过 70%。这对模型有两个直接影响第一模型会倾向把所有样本都预测成多数类因为这样准确率也不低第二少数类差评的 TF-IDF 特征权重会被多数类淹没因为词频统计天然偏向好评里的常用词。处理不平衡的方式在特征工程阶段就有一个技巧按好评和差评的数量比例调整采样权重而不是直接把差评样本复制若干倍。直接对差评样本做上采样会让重复样本主导 TF-IDF 的词频统计产生过拟合。更好的做法是用class_weight参数在模型训练时给少数类更高的惩罚权重特征矩阵保持原样不动。这样既没有改变特征分布又让模型关注到了差评样本。特征矩阵还有一个容易踩的边界问题训练集和测试集的 TF-IDF 要共用同一个vectorizer。如果你在训练集上先拟合测试集上再用同一个vectorizer.transform()这是对的。但如果你在训练集和测试集上分别调用fit_transform()两个矩阵的列名也就是词表会对不上模型直接报“维度不一致”。这个问题常见到几乎所有做过 NLP 的人都碰到过不要在同一个坑里摔两次。4. 模型训练与评估用朴素贝叶斯、逻辑回归和 SVM 跑出基线4.1 三个模型的适用边界与选型逻辑特征矩阵准备好之后模型选择就不该靠“哪个流行用哪个”了。商品评论情感分析这个任务在传统机器学习范围内三个模型最值得测试朴素贝叶斯、逻辑回归和线性 SVM。朴素贝叶斯是文本分类的老牌算法训练快小样本表现稳定对 TF-IDF 这种稀疏矩阵特别友好。但它的前提假设是特征之间相互独立这对自然语言来说明显不成立“好吃”和“美味”经常一起出现模型会把这种共现信息重复计算。好在这个假设的不成立在小规模文本分类里并不致命实际效果依然可用。逻辑回归是可解释性最强的线性模型输出概率不仅能用于分类还能告诉你模型对这条评论的置信度。代价是训练收敛需要迭代当max_features设置的很大时训练时间明显上升。SVM 在线性可分场景下分类边界干净效果往往比前两者好一截但对参数C的选择敏感默认值经常效果平平。我给毕设项目的建议是三个都跑用交叉验证选出表现最好的一个。这不仅让论文里多了对比实验也能让你在答辩被问“为什么选这个模型”时给出实际数据支撑而不是背教科书。4.2 训练与评估代码Pipeline、交叉验证与混淆矩阵from sklearn.pipeline import Pipeline from sklearn.naive_bayes import MultinomialNB from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV from sklearn.metrics import classification_report, confusion_matrix import numpy as np X_train, X_test, y_train, y_test train_test_split( X, labels, test_size0.2, random_state42, stratifylabels ) # 三个模型统一放进 Pipeline models { naive_bayes: Pipeline([ (clf, MultinomialNB()) ]), logistic: Pipeline([ (clf, LogisticRegression(max_iter1000, class_weightbalanced)) ]), svm: Pipeline([ (clf, SVC(kernellinear, C1.0, class_weightbalanced)) ]) } for name, model in models.items(): scores cross_val_score(model, X_train, y_train, cv5, scoringf1_macro) print(f{name} 交叉验证 F1: {scores.mean():.4f} (/- {scores.std():.4f}))这段代码里每一个细节都有讲究。stratifylabels告诉 train_test_split 在切分时保持类别比例否则差评数量少切分后可能一个都没分到测试集里。class_weightbalanced自动根据标签频率给少数类增加权重是处理不平衡最简单有效的做法。scoringf1_macro是对所有类别的 F1 求平均比 accuracy 更能反映少数类的表现。交叉验证后再用测试集验证一次。测试集在调参过程中必须完全隔离如果你反复用同一个测试集调参其实是在用测试集的信息做训练最后拿到的分数会虚高。正确流程是先用交叉验证在训练集内部选模型调参数全部定稿后才在测试集上算一次最终指标。最后输出classification_report和混淆矩阵这两个结果在论文里可以直接当作实验表格用。混淆矩阵能直观地告诉你差评被误判成好评的比例有多高往往比综合指标更有表达力。4.3 网格搜索C和ngram_range一起调效果上限会提升param_grid { clf__C: [0.1, 1.0, 10.0], tfidf__ngram_range: [(1, 1), (1, 2)] } pipeline Pipeline([ (tfidf, vectorizer), (clf, LogisticRegression(max_iter1000, class_weightbalanced)) ]) grid GridSearchCV(pipeline, param_grid, cv5, scoringf1_macro, n_jobs-1) grid.fit(comments_cut, labels) print(f最优参数: {grid.best_params_}) print(f最优得分: {grid.best_score_:.4f})网格搜索的核心是把特征工程和模型参数放在同一个搜索空间里联合调优。这里clf__C是模型参数tfidf__ngram_range是特征参数两者的组合才是完整的参数空间。只调模型不调特征参数经常会在一个平庸的特征集上选出一个“最优”模型但换个 ngram 范围分数直接涨 5 个百分点。n_jobs-1让所有 CPU 核心并行跑如果样本量和参数组合不多几秒钟就出了结果。但要注意comments_cut是已经分好词的列表vectorizer会在 Pipeline 内重新做 fit所以前面单独调用fit_transform那一步其实可以省略放进 Pipeline 让它按交叉验证的每一折重新拟合才是更严谨的做法。5. 避坑指南商品评论情感分析最容易翻车的五个问题5.1 中文编码问题读进来全是乱码模型分数直接崩盘现象CSV 文件用 pandas 读进来后评论内容显示为一堆“锟斤拷”之类的乱码字符或者程序运行时报UnicodeDecodeError。原因Windows 上 Excel 默认用 GBK 或 ANSI 编码保存 CSV而 Python 3 的 pandas 默认按 UTF-8 读取。两侧编码不一致就会产生乱码或直接报错。另有部分爬虫工具会输出 GB2312 编码的文件问题同类。解决读取时显式指定编码pd.read_csv(comments.csv, encodinggbk)或encodinggb18030后者是 GBK 的超集兼容性更好。如果你不能确定文件编码可以用chardet库检测后再读。输出侧统一用encodingutf-8-sig确保 Excel 能正常打开你的清洗结果。5.2 评论太短导致特征稀疏一句话评论几乎没有可用特征现象清洗后一条评论只剩“好”或“差”一个字TF-IDF 矩阵里这一行的向量几乎全是零模型怎么训练都是“好”。原因商品评论天然短一小部分用户就写一个字或者“好评”“已收货”这种完全不含情感倾向的水评。这些样本没有任何有效特征还污染了多数类。解决在清洗阶段直接过滤长度小于 2 的评论从根源上剔除。对于“好评”“已收货”这种高频水评用停用词列表配合人工检查汇总高频无意义短句后统一剔除。这个动作比一切模型调参都有用。5.3 模型在训练集上 95%测试集上 65%过拟合还是数据泄漏现象训练集交叉验证分数很高测试集上一落千丈两者差距在 10 个百分点以上。原因两种可能一是max_features调得过大模型把训练集里的生僻词和特例都记住了二是对测试集做了多次评估并据此回头改参数属于人为把测试集信息泄漏进训练过程。解决先判断属于哪种。如果max_features超过 20000 且样本量只有几千调回 8000 或 4000 试一下。如果是反复改参数导致虚高规范流程即可测试集只在最终评估时碰一次所有调参都依赖训练集内部的交叉验证。5.4 差评全被预测成好评类别不平衡的经典翻车现象模型总体准确率 78%但看混淆矩阵差评被预测成好评的比例高达 90%差评的召回率只有 20%。原因好评占比 70% 以上模型只要把所有评论都判成好评就能拿到不错的准确率所以它懒得学差评的特征。accuracy这个指标骗过了很多人。解决换评估指标用f1_macro或差评类的recall作为主要指标。同时给模型加class_weightbalanced让差评样本的错分代价变高。如果加了还不行考虑对差评做少量上采样但幅度控制在一倍以内避免过拟合。5.5 新评论做预测时报“维度不匹配”错误训练和预测用了两个向量化器现象模型训练完自己写了一个脚本读入新评论做预测结果 sklearn 直接报维度错误或者预测结果全部是同一种标签。原因预测时用了TfidfVectorizer()从头新建了一个向量化器对评论做 fit_transform得到的词表和训练时的词表完全不一致矩阵列数不同自然无法预测。解决训练后将vectorizer和模型一起用joblib.dump()序列化保存预测时用joblib.load()还原同一个向量化器只调用transform()函数绝不调用fit_transform()。这是 NLP 工程里最基础也最致命的坑每年都有无数人踩。注意上面的第 5.5 条是项目里最容易被当成“模型失效”的问题先排查它再去调模型参数。6. 从「能跑」到「能用」用少量新数据做真实场景验证模型训练完成、指标好看到能写进论文之后离“真正能用”还有一段距离。这一段的验证方式和训练评估完全两回事脱离你自己的训练集从目标电商平台采集几十到几百条全新评论让模型对它们做预测然后人工逐条核对预测结果。这个动作能从三个角度暴露问题新评论里出现了训练语料完全没有的口语表达类别的先验分布变了以及评论长度和句式结构跟爬虫语料有差异。我一般会做两件事。第一记录新数据在二分类上的总体准确率如果比训练时的测试集分数低超过 5 个百分点说明泛化能力不足优先检查特征工程环节是否有过拟合。第二把预测置信度低于某个阈值比如逻辑回归的概率在 0.4 到 0.6 之间的评论单独打印出来看这些是模型拿不准的边界样本也是后续调优最值得下手的地方。import joblib # 加载训练阶段保存的模型和向量化器 model joblib.load(sentiment_model.joblib) vectorizer joblib.load(tfidf_vectorizer.joblib) new_comments [物流特别快隔天就到了, 跟描述不符有点失望, 一般般不算差] new_comments_cut [ .join(jieba.cut(c)) for c in new_comments] X_new vectorizer.transform(new_comments_cut) proba model.predict_proba(X_new) for comment, p in zip(new_comments, proba): neg, pos p print(f评论: {comment} | 差评置信度: {neg:.2f} | 好评置信度: {pos:.2f})上面这段代码是我每次给别人演示“模型能用”时必做的一步。predict_proba相比predict多输出每个类别的概率值这个信息比硬分类结果更有用。如果一条评论的正面概率只有 0.52即使被判成好评也值得怀疑说明模型没有把握。在答辩展示或作品集说明时用这个方式呈现比单纯贴一个 accuracy 更有说服力。它展示了你不只跑通了模型还理解了模型的判断边界。最终我的习惯是任何调参动作做完都拿这几十条真实评论跑一遍看看那些置信度摇摆的样本是否有所改善。如果没有那调参大概率是在刷训练集上的分数对真实数据的价值有限。希望这套流程能帮你少走几次弯路。本文还有配套的精品资源点击获取