简介面向计算机专业课程设计与毕业设计场景这份基于深度学习的新闻分类与推荐系统源码提供了从文本处理、模型训练到推荐服务的完整工程化实现。项目经导师审定并获评98分难度适中特别适合需要完成期末大作业、毕业设计或进行项目实战练习的学生参考。压缩包共151个文件、约608KB结构上包含24个Python脚本、73个Java源码以及properties与xml配置、jar依赖、Maven构建脚本、SQL初始化脚本和说明文档等Java部分承担Spring Boot后端服务Python脚本负责数据处理与模型调用覆盖后端接口、算法模型、数据存储与运行配置多个模块目录组织清晰。内容均已本地编译调试通过可运行性有保障并附带说明文档与工程描述能帮助读者快速理解新闻分类与推荐的整体流程目前已有89人学习下载。1. 新闻分类与推荐系统课程设计里最容易被低估的“可用性”问题做“新闻分类与推荐系统”这个课程设计的人十个里有九个把时间耗在了模型上最后却死在数据上。标签分布偏得离谱、同一篇新闻在训练集和测试集里各出现一次、几万条语料跑分词跑了一个小时——这类问题比调参更容易让项目翻车。这篇笔记面向正在为课程设计写 Python 代码的初学者也适合想要一份能快速跑通、答辩不心虚的深度学习落地案的工程师。我会沿着“基于深度学习的新闻分类与推荐系统”这条主线用 TextCNN 做新闻打标再把它学到的 Embedding 拿来搭一个向量召回推荐最后把离线评估、接口部署和现场演示一起收尾。2. 数据准备把新闻语料整理成 TextCNN 能啃的格式2.1 数据集结构四列 CSV 比到处写列表稳得多课程设计没有“官方数据”可用常见做法是去开源社区找 THUCNews 这类公开新闻数据集的子集或者自己写爬虫从新闻网站抓标题和正文。无论哪种来源第一件事都是把数据统一成一张表我一般只用四列news_id、title、content、published_at类别单独一列。不要在预处理脚本里用 list 硬编码文件路径最后交代码时容易被老师当场拆穿。读取和切分的代码很简单但有两个细节值得注意。一是按发布时间排序后再切分二是不要在同一条新闻的变体上做随机切分。import pandas as pd from sklearn.model_selection import train_test_split df pd.read_csv(news_raw.csv, encodingutf-8) df df.dropna(subset[title, content, category]) df[text] df[title] 。 df[content] # 类别编码课程设计的类别通常 5~10 类就够 labels sorted(df[category].unique()) label2id {label: i for i, label in enumerate(labels)} # 按时间切分而不是随机切分防止“时间穿越” df df.sort_values(published_at) train_df, temp_df train_test_split(df, test_size0.3, shuffleFalse) valid_df, test_df train_test_split(temp_df, test_size0.5, shuffleFalse) print(train_df[category].value_counts(normalizeTrue))逻辑说明dropna去掉正文和标题为空的噪声样本text用句号拼接标题与正文让模型能看到标题也能看到全文sort_values配合train_test_split(shuffleFalse)实现了按发布时间的先后切分这是新闻类任务里最稳妥的做法。参数说明test_size0.3适用于万级样本如果总样本只有几千条建议把测试集砍到 0.2 并保证不少于 2000 条。最后打印类别分布这一步能提前暴露“体育类占 70%”这类不均衡问题后面选择损失函数权重时要用到这份分布。2.2 分词与词表Jieba 加上停用词表的取舍中文文本不能直接按空格切词所以分词是一个绕不开的环节。课程设计里最常用的是 Jieba训练集在几万条规模时建议把分词结果缓存成文件否则每次重跑都要等好久。停用词表用开源的中文停用词表即可不需要自己维护但要记住一个原则宁缺毋滥。过度删词会把“不”“没有”这类否定词删掉新闻分类里“不实信息”和“实信息”是两类内容这个坑在答辩时特别容易被问到。import jieba from collections import Counter STOPWORDS set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: STOPWORDS.add(line.strip()) def tokenize(text: str) - list: words jieba.cut(text.strip()) return [w for w in words if w not in STOPWORDS and len(w) 1] # 只在训练集上统计词表 counter Counter() for t in train_df[text]: counter.update(tokenize(t)) min_freq 2 vocab [pad, unk] sorted(w for w, c in counter.items() if c min_freq) word2id {w: i for i, w in enumerate(vocab)}逻辑说明len(w) 1能去掉大量单字噪音新闻文本里单字能提供的信息太有限min_freq2表示出现次数少于 2 的词直接丢弃这既压缩词表又减少过拟合。pad用 0 号位置unk用 1 号位置后面 Embedding 层的padding_idx0就要依赖这个约定。参数说明min_freq调大词表会变小、训练更快但 Out-of-Vocabulary 会变多建议 2 或 3不要调到 5 以上。分词这个环节在 Windows 上不要用jieba.enable_parallel()多进程支持在 Windows 上经常报错老老实实跑一遍再把结果存成 parquet一劳永逸。2.3 DataLoader 与 collate_fn把“变长”变成定长再喂给模型TextCNN 对输入长度没有硬性限制但让一个 batch 里的句子长短不一会让训练效率变低。常见的做法是统一截断到max_seq_len128短于 128 的用pad补足。这里最容易出错的是补位和截断的顺序先截断再补位否则超出长度的部分会被错误地截到中间位置。from torch.utils.data import Dataset, DataLoader class NewsDataset(Dataset): def __init__(self, texts, labels, word2id, max_seq_len128): self.texts texts self.labels labels self.word2id word2id self.max_seq_len max_seq_len def __len__(self): return len(self.texts) def __getitem__(self, idx): tokens tokenize(self.texts[idx])[:self.max_seq_len] ids [self.word2id.get(w, 1) for w in tokens] # 1 对应 unk ids ids [0] * (self.max_seq_len - len(ids)) # 0 对应 pad return torch.tensor(ids, dtypetorch.long), self.labels[idx] batch_size 64 train_loader DataLoader( train_dataset, batch_sizebatch_size, shuffleTrue, collate_fnlambda batch: ( torch.stack([x[0] for x in batch]), torch.tensor([x[1] for x in batch], dtypetorch.long), ), )逻辑说明tokenize拿到的是词序列先切片到 128再用get(w, 1)把词转成 ID最后用 0 填充到等长。collate_fn在这里的作用是把 batch 内多个样本的 padded 向量堆叠成一个二维张量因为所有样本长度已经一样不需要再用pad_sequence这类动态工具。参数说明max_seq_len128对新闻标题加正文的拼接文本已经够用。TextCNN 的卷积核只覆盖局部 n-gram序列拉到 512 反而会把有效信号稀释如果数据集里长文偏多可以提到 256但要相应增大 batch size 或者调小模型否则显存会很紧张。3. 分类模型TextCNN 的完整 Python 代码与三个必调参数3.1 TextCNN 结构为什么短文本分类选它而不是 LSTM新闻分类在万级语料规模上有一个很现实的问题LSTM 按时间步展开训练速度慢而且梯度在长距离依赖上容易出问题调参难度大。TextCNN 训练快、收敛稳、代码量少对“标题导语”这种信息集中在前半段的文本特别有效。它用多个不同宽度的卷积核去抓相邻词的局部组合再用全局最大池化把每个卷积核的输出压成一个标量相当于“这段文本里最强烈地触发了第 k 个特征的那个片段”。import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embedding_dim100, num_filters100, kernel_sizes(2, 3, 4), num_classes10, dropout0.5): super().__init__() self.embedding nn.Embedding(vocab_size, embedding_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembedding_dim, out_channelsnum_filters, kernel_sizek) for k in kernel_sizes ]) self.fc nn.Linear(len(kernel_sizes) * num_filters, num_classes) self.dropout nn.Dropout(dropout) def forward(self, x): emb self.embedding(x) # [batch, seq_len, embedding_dim] emb emb.transpose(1, 2) # [batch, embedding_dim, seq_len] pooled [] for conv in self.convs: c conv(emb) # [batch, num_filters, seq_len - k 1] p torch.max(c, dim2).values # 全局最大池化 pooled.append(p) h torch.cat(pooled, dim1) # [batch, num_filters * len(kernel_sizes)] h self.dropout(h) return self.fc(h)逻辑说明Conv1d的输入是[batch, 通道数, 序列长度]所以拿到 Embedding 输出后要先交换第 1、2 维。卷积核不设 padding因此长度为seq_len - k 1经过全局最大池化后变成num_filters个值。三个卷积核的结果拼接起来得到 300 维的向量h再过一层全连接输出类别分数。这段代码里h在后面做推荐系统时要复用所以建议实际使用时把forward改成同时返回logits和h。三个必调参数的推荐值embedding_dim100是文本分类的常用基线再往上加到 200 收益递减num_filters100对 5~10 类新闻分类足够调成 128 只会让训练慢kernel_sizes(2,3,4)覆盖了中文里最常见的词组合长度比调成(1,2,3)多抓一个四字成语和新闻术语的颗粒度比(3,4,5)更贴合短文本场景。dropout0.5是默认值但如果验证集 F1 一直上不去可以降到 0.3 看看不要动 Embedding 的维度。3.2 训练循环早停、梯度裁剪和最优模型保存训练代码本身不难难的是训练过程里那些“看起来没问题”的细节。我习惯用 AdamW 而不是 Adam因为 AdamW 把权重衰减从自适应学习率里拆出来对 Transformer 和卷积模型都更稳。学习率 1e-3 起步配合学习率衰减每个 epoch 结束一定要在验证集上算 macro F1不要只盯着训练 loss 或者 accuracy。import torch.nn.functional as F from torch.optim import AdamW from sklearn.metrics import f1_score def evaluate(model, loader, device): model.eval() preds, trues [], [] with torch.no_grad(): for inputs, labels in loader: inputs inputs.to(device) logits model(inputs) preds.extend(torch.argmax(logits, dim1).cpu().tolist()) trues.extend(labels.tolist()) return f1_score(trues, preds, averagemacro) device torch.device(cuda if torch.cuda.is_available() else cpu) model TextCNN(len(word2id), num_classeslen(label2id)).to(device) optimizer AdamW(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemax, patience2 ) best_f1 0.0 for epoch in range(12): model.train() total_loss 0.0 for inputs, labels in train_loader: inputs, labels inputs.to(device), labels.to(device) logits model(inputs) loss F.cross_entropy(logits, labels) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() total_loss loss.item() val_f1 evaluate(model, valid_loader, device) scheduler.step(val_f1) print(fepoch {epoch 1}: loss{total_loss / len(train_loader):.4f}, val_f1{val_f1:.4f}) if val_f1 best_f1: best_f1 val_f1 torch.save(model.state_dict(), textcnn_news.pt)逻辑说明evaluate里切换model.eval()并包裹torch.no_grad()这两步少了任何一个验证集的指标都会失真。clip_grad_norm_把梯度的范数限制在 5 以内防止个别样本把 Embedding 层冲得太狠。早停没有另外写函数而是用best_f1只保存验证集上最好的那一次权重——这算一种隐式早停课程设计完全够用。参数说明lr1e-3是文本分类的稳妥起点如果 loss 连续 3 个 epoch 不降优先把学习率降到 5e-4而不是调大 batch。patience2表示验证集 F1 连续两轮不创新高就降低学习率。epoch12对万级样本一般足够如果 12 轮还在涨可以接着跑但要盯着验证集有没有开始掉掉头就是过拟合信号。3.3 类别不均衡用权重重写损失函数新闻数据集的类别分布天然不均衡“体育”和“娱乐”可能各占 25%而“科技”只占 8%。如果不做处理模型学到的无非是“把所有样本都预测成体育类”准确率还能有 60% 以上但 F1 会很难看。我一般先打印标签分布再给CrossEntropyLoss传入类别权重。from sklearn.utils.class_weight import compute_class_weight class_weights compute_class_weight( class_weightbalanced, classesnp.array(sorted(label2id.values())), ytrain_df[category].map(label2id).values, ) class_weights_tensor torch.tensor(class_weights, dtypetorch.float32).to(device) # 训练循环里这样用 # loss F.cross_entropy(logits, labels, weightclass_weights_tensor)逻辑说明compute_class_weight会自动把低频类的权重抬高高频类压低实现“让模型多看小众类一眼”。注意这里classes传的是类别编码后的数值不是原始字符串所以要先map(label2id)。有了权重之后原来的F.cross_entropy(logits, labels)要改成传入weightclass_weights_tensor。顺带说一句不要因为准确率不高就去改验证集标签那是自欺欺人。课程设计答辩时老师问“为什么不用 accuracy 而用 macro F1”你只需要回答“类别不均衡下准确率有迷惑性F1 能公平反映每个类的表现”这一句就能体现出你踩过坑。4. 推荐系统用分类 Embedding 做向量召回与冷启动兜底4.1 构造用户兴趣向量历史点击新闻向量的加权平均新闻推荐和电商推荐不一样新闻的生命周期短昨天点击的新闻今天就不再是热点。课程设计里做推荐最容易实现的深度学习方法不是再训一个神经网络而是利用第 3 章 TextCNN 产出的句子向量h把“用户点过的新闻向量”求加权平均作为用户兴趣向量。这一招叫基于深度学习特征的向量召回代码量少但效果和可解释性都足够应付答辩。关键一步是先让分类模型在推理模式下输出句子向量。我在第 3 章给的forward返回的是logits实际使用时建议同时返回hdef encode_text(model, text, word2id, device, max_seq_len128): model.eval() tokens tokenize(text)[:max_seq_len] ids [word2id.get(w, 1) for w in tokens] ids ids [0] * (max_seq_len - len(ids)) x torch.tensor([ids], dtypetorch.long).to(device) with torch.no_grad(): logits, h model(x) # h: [1, 300] return h[0].cpu().numpy()这里h的维度取决于第 3 章len(kernel_sizes) * num_filters默认是3 * 100 300。拿到每篇新闻的 Embedding 之后用户画像就可以用历史点击行为来构造了。import numpy as np import pandas as pd behavior_df pd.read_csv(user_behavior.csv) # 列: user_id, news_id, behavior_type, ts news_emb_map {} for news_id, text in zip(test_df[news_id], test_df[text]): news_emb_map[news_id] encode_text(model, text, word2id, device) def build_user_profile(user_id, behavior_df, news_emb_map, half_life_days7.0): rows behavior_df[behavior_df[user_id] user_id] emb_list [] for _, row in rows.iterrows(): emb news_emb_map.get(row[news_id]) if emb is None: continue # 简单时间衰减距近 7 天的点击权重减半 age_days (pd.Timestamp(2024-01-10) - pd.to_datetime(row[ts])).days weight 0.5 ** (age_days / half_life_days) emb_list.append(emb * weight) if not emb_list: return None profile np.stack(emb_list).sum(axis0) return profile / (np.linalg.norm(profile) 1e-9)逻辑说明news_emb_map把新闻 ID 映射为向量这一步在真实项目里应该离线算好存成.npy不要每次请求都跑一遍模型。用户画像的关键在时间衰减七天前点击的新闻权重是今天的 0.5 倍十四天前是 0.25 倍。最后做 L2 归一化是为了让后续点积结果只表示方向相似度不受用户点击次数多少的影响。参数说明half_life_days7.0表示半衰期为 7 天新闻推荐场景合理如果数据集里行为记录跨度只有两三天可以把这个参数调小到 3 天否则衰减项没有存在感。behavior_type列可以只保留click类型如果需要体现“收藏比点击更重”可以给不同行为类型乘不同系数这是答辩时可以主动展示的加分点。4.2 向量召回与排序用矩阵乘法和 MMR 留住多样性有了用户向量之后召回就是计算它与全部候选新闻向量的相似度。这里不要写 for 循环一个个算余弦相似度效率太低。因为所有向量已经归一化点积结果就是余弦相似度可以直接用一次矩阵乘法搞定。召回后还要做一步重排否则会出现“用户点过两条体育新闻推荐回来的十条全是体育”的尴尬情况。candidate_embs np.stack([news_emb_map[nid] for nid in candidate_news_ids]) def recommend_for_user(user_profile, candidate_embs, candidate_news_ids, topk10): scores candidate_embs user_profile rank_idx np.argsort(-scores)[:topk] return [candidate_news_ids[i] for i in rank_idx] def cold_start_hot_news(behavior_df, topk10): hot behavior_df.groupby(news_id).size().sort_values(ascendingFalse) return hot.head(topk).index.tolist()逻辑说明矩阵乘法candidate_embs user_profile一次算出所有候选分数argsort(-scores)取分数最高的前 10 个。冷启动的逻辑更简单新用户没有任何历史行为直接用全体用户点击量最高的新闻兜底。这两个函数合在一起就构成了一套完整的推荐流程老用户走向量召回新用户走热门兜底。不过课程设计里最常见的追问是“你这推荐结果怎么全是同类新闻”。要解决这个问题可以在排序阶段加一个 MMR 重排公式是λ * 相关度 - (1 - λ) * 与已选结果的最大相似度核心思路是每选一条推荐结果时不仅要看它和用户画像的相关度还要惩罚那些和已选结果过于相似的文章。def mmr_rerank(scores, item_embs, picked_idx, lambda_0.7): unseen set(range(len(scores))) - set(picked_idx) best max( unseen, keylambda i: lambda_ * scores[i] - (1 - lambda_) * max(item_embs[i] item_embs[p] for p in picked_idx), ) return best逻辑说明scores是第一步算出的相关度item_embs是候选新闻向量。每轮从候选里挑一条使 MMR 最大的新闻加入picked_idx循环topk次。lambda_0.7意味着相关性占七成、多样性占三成如果只想突出多样性调到 0.5 即可但要牺牲一部分相关度。这个函数单独拿出来就是推荐系统里一个很标准的“多样性重排”模块写在课程设计报告里能明显提升层次。4.3 可选的深度学习打分器把向量差和点积拼起来过 MLP如果老师明确要求“推荐部分也必须看到神经网络”可以在召回的候选项上再做一层排序。常见做法是把用户向量、物品向量、两者的差、两者的点积四个部分拼起来过两层全连接输出一个点击概率。这个结构在工业界叫深度召回排序在课程设计里用几十行就能实现。class MLPRanker(nn.Module): def __init__(self, emb_dim300): super().__init__() self.net nn.Sequential( nn.Linear(emb_dim * 3, 128), nn.ReLU(), nn.Dropout(0.2), nn.Linear(128, 1), ) def forward(self, user_vec, item_vec): diff user_vec - item_vec dot (user_vec * item_vec).sum(dim1, keepdimTrue) x torch.cat([user_vec, item_vec, diff, dot], dim1) return torch.sigmoid(self.net(x))注意前向传播里diff和dot加进去后实际输入维度是emb_dim * 2 emb_dim 1我这里写emb_dim * 3是为了简化示意真正要跑通的话得把self.net的输入维度改成emb_dim * 3 1。训练数据需要正样本真实点击和负样本随机采样的未点击新闻负采样比例 1:3 到 1:5 都行。这个模块对课程设计属于加分项如果时间紧张向量召回加 MMR 已经足够先把前面的基础流程跑通更重要。5. 避坑指南训练和验收阶段的五个常见翻车点5.1 同一篇新闻在训练集和测试集各出现一次准确率虚高现象验证集准确率 99%现场演示换一条新闻却明显变差。原因随机切分数据时同一个新闻源对同一事件发布的相似标题被分到了两边模型其实是在“背题”。新闻数据集里这种相近样本非常多标题改几个字就是另一条新闻。解决切分前先按text去重再按published_at时间切分。去重时不只看完全一样的文本可以把句子切词后求一个 hash相似度高的样本直接丢弃。5.2 Jieba 分词在几万条语料上跑得慢现象脚本卡在数据预处理阶段一个小时还没进入训练。原因Jieba 默认单线程在循环里逐条调用jieba.cut会反复加载词典和正则状态。几万条新闻文本全部切词时间会非常可观。解决先把全部text切词结果缓存成 parquet 或 pickle之后的每次运行都直接读缓存。不要用jieba.enable_parallel()在 Windows 上多进程支持不稳定如果实在要并行用multiprocessing写独立脚本注意保护if __name__ __main__。5.3 类别不均衡让准确率虚高F1 却只有 0.5现象训练完看 accuracy 有 85%但打印每个类别的 F1某个小类只有 0.2。原因CrossEntropyLoss默认对所有类别一视同仁模型为了降低整体 loss 会把多数类样本学得更充分少数类被选择性忽略。解决先打印训练集的value_counts(normalizeTrue)确认分布再用compute_class_weight(class_weightbalanced)算出权重传给损失函数。评估指标改用 macro F1不要用 accuracy 作为唯一指标。5.4 推荐召回结果千篇一律用户画像被单类兴趣绑架现象用户点过三条体育新闻推荐结果里十条有八条是体育换一个有多个兴趣的用户结果也差不多。原因向量召回的排序目标只有“和用户画像相似”没有考虑推荐结果之间的多样性。一个用户可能同时喜欢科技和财经但科技类新闻在向量空间里聚成一团连续取前 10 名自然全是同类。解决用 MMR 做一轮重排把lambda_设为 0.7让相关性占主导但保留三成多样性。如果还想更强一点可以限制同一类别在结果里最多出现 3 条这是“业务规则”层面的后处理答辩时讲出来反而显得你考虑过真实产品约束。5.5 验收时换电脑跑不起来都是路径和版本惹的祸现象在自己的环境里一切正常打包交给老师后直接报FileNotFoundError或者ModuleNotFoundError。原因课程设计代码大多在 PyCharm 或 Jupyter 里开发数据集路径写的是绝对路径同学或老师的电脑上没有同样的目录结构也没有安装同样版本的第三方库。解决项目根目录下用pathlib.Path(__file__).parent来定位模型和数据文件模型与词表全部放到models/目录给环境依赖单独写一个requirements.txt标注关键库的版本范围。演示前先在另一台干净电脑上跑通一次这是最稳妥的后悔药。6. 最后一个技巧一个脚本完成离线评估、接口部署与现场演示课程设计答辩那天最怕的不是模型效果差而是现场卡在某个细节上。我的习惯是把“评估 部署 演示”压成一个脚本让整个流程在五分钟内能走完。离线评估这一层只需复用第 3 章的evaluate函数把测试集加载进来跑一次输出 accuracy 和 macro F1再把分类错误的样本打印 10 条出来。这一步能帮你在答辩前发现一些很扎眼的问题比如“科技类新闻总是被分到商业类”这类错误在报告里提前说明原因反而比隐藏问题更让老师信服。部署则不需要上 Flask 全家桶一个最小接口就够了。预览当季热点用一个app.py拉起服务读入提前存好的模型权重、词表、新闻向量矩阵收到user_id就返回推荐列表。核心是这样一段代码from flask import Flask, request, jsonify app Flask(__name__) model.load_state_dict(torch.load(models/textcnn_news.pt, map_locationcpu)) model.eval() app.route(/recommend, methods[POST]) def recommend(): data request.get_json() user_id data[user_id] if user_id not in user_profile_map: return jsonify({items: hot_news_list[:10]}) items recommend_for_user( user_profile_map[user_id], candidate_embs, candidate_news_ids, topk10 ) return jsonify({items: items}) if __name__ __main__: app.run(host0.0.0.0, port8080)逻辑说明冷启动用户直接返回热门新闻列表老用户走向量召回。map_locationcpu这个参数必须写否则在没装 CUDA 的机器上加载 GPU 保存的权重会直接崩溃。现场演示时可以先在本地浏览器里用curl或 Postman 打一次 http 请求再把代码切回离线评估模式给老师展示准确率和 F1形成“能训练、能评估、能上线”的完整闭环。做完这些还有一个小技巧把模型的预测结果和推荐结果各打印两条用带颜色的终端输出区分正确和错误。老师看演示时注意力有限纯数字指标他们不一定能立刻感知到好坏但一个“新闻分类正确 推荐结果合理”的直观案例能立刻抓住注意力。我做这个课程设计时吃过一次亏当时只顾着给模型调参没有准备演示脚本结果现场从 Jupyter 里一行行运行紧张得连数据路径都打错。后来习惯把所有关键动作收敛到一个脚本里答辩再没出过岔子。希望这些经验帮到你祝你调参顺利、演示不翻车。本文还有配套的精品资源点击获取