简介：这是一份机器学习应用于疾病诊断方面的学术参考文献，适合医疗数据挖掘、智慧医疗方向的科研人员和算法工程师阅读。资源以糖尿病视网膜病变为切入点，针对传统诊断依赖医生经验、面对高维医疗数据时准确率不足的问题，给出基于逻辑回归的疾病特征分析模型；通过301医院电子病历数据的逐步回归，输出关键特征排序，发现糖化血红蛋白浓度与慢性肾病是2型糖尿病视网膜病变的主要影响因素，可为医生提供直观可靠的辅助诊断参考。包体为1个PDF文件，大小1.48MB，包含摘要、中英文关键词、实验设计、结果分析等完整论文章节，便于课题检索、方法对照和引用。目前已有484人学习下载，适合作为机器学习与疾病诊断交叉课题的选题依据、建模参考或专业指导资料。

1. 疾病诊断模型不是黑魔法：一份病历数据如何变成可复现的机器学习项目

第一次做基于机器学习的疾病诊断模型时，我犯过几乎所有新手都会犯的错：拿到几万行病历数据，不管三七二十一丢给随机森林，测试集准确率漂亮得吓人，结果把模型放到下一个月的真实病历上直接崩盘。问题不在模型，而在数据处理和验证方式。所谓疾病诊断模型，本质是一个监督学习的二分类任务——用人口学信息、化验指标、病史字段去预测“是否患病”。这个方向是很多机器学习课程设计选题的热门，也是毕业论文和临床辅助筛查工具的高频需求。这篇文章按一套完整应用流程，把从数据清洗、特征工程、模型训练到评估落地的路径拆开讲，适合正在为选题发愁的学生，也适合第一次拿医疗表格数据练手的研发。

2. 数据处理是第一个翻车点：缺失标记、类别不平衡与数据划分怎么做

2.1 缺失值不是简单删除：机器学习中的数据处理要问“为什么缺失”

机器学习中的数据处理是什么，教程里讲得都差不多：清洗、转换、归一化。但病历数据的缺失和通用数据完全不同——它不是随机缺失。患者没做某项检查、某家医院不开展某项检验、某项指标只在重症患者身上才测，这些“没测”本身就携带了临床含义。新人最容易犯的错是看到缺失就删行，或者统一填零，结果模型学到的规律全是错的。

我一般对每条数值特征做两件事：先生成一个“是否缺失”的二元标记，再用中位数填充。这样模型既能利用缺失状态本身的信息，又不会因为极端值把填充值拉偏。

import pandas as pd import numpy as np df = pd.read_csv("medical_records.csv") # 对每个数值特征，先保留缺失标记，再做中位数填充 for col in ["bmi", "systolic_bp", "creatinine"]: df[f"{col}_missing"] = df[col].isna().astype(int) df[col] = df[col].fillna(df[col].median())

这里用中位数而不是均值，因为化验指标往往有长尾，一个超高的肌酐值会把均值拉得很高，中位数则稳定得多。_missing标记列是关键——它把“为什么没测”交给了模型自己学习，而不是让填充值假装成真实测量。你要是做过几次真实项目就会发现，这条标记列在特征重要性里经常排进前三。

2.2 类别不平衡：疾病诊断里“全猜阴性”的准确率骗局

真实疾病诊断场景中，正样本（确诊患者）占比经常只有 5% 甚至更低。这时候一个“无脑全猜阴性”的模型就能拿到 95% 准确率，看起来像个好模型，实际上一例病都查不出来。处理类别不平衡，常见做法有两个方向：一是在模型里设置class_weight，二是对训练集做合成采样。

如果只用class_weight="balanced"，模型通过加大少数类的损失权重来缓解偏向，这个做法不会生成虚假样本，适合特征维数高的场景。另一种是 SMOTE，在特征空间里插值合成少数类样本，数据量少时效果明显。注意采样比例别设成 1:1，医疗场景正负样本完全对称会让模型学到一个很严苛的患病率假设，拿到真实人群里容易过度预测。

from imblearn.over_sampling import SMOTE # sampling_strategy=0.3 表示把少数类合成到多数类的 30% # 不用 1:1，保留原始人群的先验分布比例，模型更稳健 smote = SMOTE(sampling_strategy=0.3, random_state=42, k_neighbors=5) X_train_res, y_train_res = smote.fit_resample(X_train, y_train)

一个必须强调的边界：SMOTE 只能在训练集划分完成之后使用，绝不能对全量数据做。否则合成的样本既出现在训练集又出现在测试集，模型评估数字会虚高到失去参考价值。这是类别不平衡处理里最常见的翻车原因。

2.3 数据划分：随机切分会让诊断模型高估自己

医疗数据有时间属性：设备会换代、诊疗方案会调整、疾病流行趋势会变化，不同时间段的数据分布本身就有差异。如果简单地train_test_split随机切分，同一个时间段、同一批患者的相似样本会被分到训练集和测试集两侧，模型记住的是“这批患者”的噪声，而不是可泛化的诊断规律。

我对待疾病诊断数据有两条划分原则。数据带就诊时间戳时，用按时间切分的折，保证每一折都是“用过去预测未来”；数据没有时间戳时，按患者 ID 分组切分，保证同一个患者不会同时出现在训练集和测试集里，否则模型在训练时见过这个人的其他检查记录，测试时再预测他的诊断结果，指标当然好看。

from sklearn.model_selection import TimeSeriesSplit # 按就诊时间排序后切 4 折，每折都用历史数据训练、未来数据验证 tscv = TimeSeriesSplit(n_splits=4) for train_idx, val_idx in tscv.split(X_sorted_by_time, y_sorted_by_time): X_train, X_val = X_sorted_by_time.iloc[train_idx], X_sorted_by_time.iloc[val_idx] y_train, y_val = y_sorted_by_time.iloc[train_idx], y_sorted_by_time.iloc[val_idx]

随机切分在疾病诊断项目里造成的最大假象是：测试集 AUC 0.90，上线后只有 0.70。不是模型衰败，是第一次评估本身就注入了未来信息。这类数据泄露问题藏得很深，后面避坑章节还会展开讲。

3. 特征工程要尊重临床逻辑：数值与类别特征的处理策略和筛选边界

3.1 数值特征与类别特征的处理：归一化不是给模型看的

病历数据里的字段可以分成两类：一类是年龄、血小板计数、白细胞、肌酐、血压这样的连续数值；另一类是性别、吸烟史、ICD-10 诊断分组这样的类别。树模型和梯度提升树对量纲不敏感，归一化与否影响不大；但逻辑回归和以后可能要接的神经网络对特征的尺度非常敏感。一个上万的血小板计数的更新步长和一个 0 到 1 的归一化特征的更新步长完全不同，不归一化的话，权重更新会震荡。

我在疾病诊断项目里习惯把预处理封装成一个ColumnTransformer，一次性处理数值列和类别列，这样后面无论换什么模型，预处理逻辑都能直接复用。

from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.compose import ColumnTransformer num_cols = ["age", "platelet", "wbc", "creatinine"] cat_cols = ["sex_code", "smoking_hist", "icd_group"] preprocessor = ColumnTransformer( transformers=[ ("num", StandardScaler(), num_cols), ("cat", OneHotEncoder(handle_unknown="ignore"), cat_cols), ] )

handle_unknown="ignore"这个参数是上线时最救命的一个设置。模型训练时见过的类别集合是固定的，但新患者可能带着没见过的诊断编码出现。默认的 OneHotEncoder 会直接报错，加上ignore会让这些未见类别编码成全零向量，模型照常运行。做疾病诊断模型，你要时刻假设数据的分布会漂移。

3.2 特征筛选：卡方、互信息与树模型重要性怎么用

医疗数据集动辄上百列，化验指标、既往史、用药记录堆在一起，不可能全塞进模型。先做一轮单变量筛选，快速砍掉明显无关的列，是控制模型复杂度的第一步。特征筛选有两条路线：计数或二值特征用卡方检验，连续特征有非线性关系时用互信息。互信息不假设线性关系，对化验指标这种经常呈 U 型分布的特征更友好。

这里要特别强调筛选的时序：只能在训练集上 fit，再对验证集 transform。这个“先 fit 再 transform”的原则在特征筛选、归一化、缺失值填充里全都成立，一旦破坏就是数据泄露。

from sklearn.feature_selection import SelectKBest, chi2, mutual_info_classif # 类别特征用卡方，连续特征用互信息 selector_chi2 = SelectKBest(chi2, k=30) X_selected = selector_chi2.fit_transform(X_train_cat, y_train) selector_mi = SelectKBest(mutual_info_classif, k=30) X_selected_mi = selector_mi.fit_transform(X_train_num, y_train)

k=30是我常用的起始值，先压缩到一个可控范围，再结合树模型特征重要性做第二轮筛选。有一个经验可以分享：筛选时别把统计显著性当作唯一标准。体温、心率、关键化验指标这些临床硬字段，哪怕单变量 P 值不显著也要保留，因为你面对的用户是医生，他们需要看到这些字段出现在模型里，才会信任这个模型。

3.3 冗余特征与多重共线性：重复测量项的处理

病历数据里同一个生理指标经常以多种形式出现，比如收缩压和舒张压、不同科室分别录入的同一化验结果、不同计量单位下的同个数值。这些高度相关的特征放进逻辑回归里会造成多重共线性，具体表现是系数极不稳定，一次训练和下次训练某个特征的权重符号都可能翻转。树模型对共线性不敏感，但逻辑回归作为基线模型时，这个问题必须处理。

# 计算训练集相关矩阵，剔除成对相关性超过 0.95 的重复特征 corr = X_train.corr() upper = corr.where(np.triu(np.ones(corr.shape), k=1).astype(bool)) drop_cols = [col for col in upper.columns if any(upper[col] > 0.95)] X_train_reduced = X_train.drop(columns=drop_cols)

相关性阈值的选取要谨慎，0.95 算比较宽松，只剔除近似重复的字段；如果你需要更稳定的逻辑回归系数，可以压到 0.8，但小心别把有临床意义的关联特征一起删掉。我在项目里一般先用 0.95 跑一轮，然后检查被删列清单，确认没有关键诊断指标被误伤。这套做法在 python 机器学习入门级别的教程里不会教，因为教程数据太干净，医疗数据永远不会。

4. 机器学习模型选型与训练：从逻辑回归基线到 XGBoost 的参数三件套

4.1 先跑逻辑回归：医疗场景解释性优先

习惯上我会把机器学习应用流程固定成五步：数据、特征、基线模型、逐步提升、评估。这套流程在疾病诊断上同样适用，而且第一步模型永远是逻辑回归，不是 XGBoost，更不是深度学习。理由有三个：稳定、可解释、有回归系数直接对应各指标的效应方向。医生问“这个模型为什么觉得患者患病概率高”时，你拿出一个系数表就能回答。

从机器学习线性回归那套推导过来，逻辑回归就是在线性加权求和之后接一个 sigmoid，把输出压成概率。区别只在目标函数换成了交叉熵。这里用带类别权重和 L2 正则的逻辑回归做基线：

from sklearn.linear_model import LogisticRegression model_lr = LogisticRegression( class_weight="balanced", C=0.1, max_iter=1000, ) model_lr.fit(X_train_scaled, y_train)

C=0.1是正则强度的倒数，加这个是为了对抗医疗数据里无处不在的噪声。正则太弱，训练集拟合得很好，验证集立刻暴露问题；我见过太多人在这条参数上翻车，AUC 训练集 0.93、验证集 0.76 就是典型的正则不足。max_iter=1000是为了保证收敛，数据量大或者特征多时，默认的 100 次迭代经常会不收敛就直接报警告。

4.2 在 XGBoost 上把性能推高：max_depth、learning_rate、subsample 三件套

逻辑回归跑通之后，下一步是换树模型试上限。在结构化病历数据上，XGBoost 基本是绕不开的选项。我的调参习惯是先固定一组能稳定出结果的三件套，再去看特征重要性和误差曲线，而不是一上来就网格搜索。

from xgboost import XGBClassifier model_xgb = XGBClassifier( n_estimators=300, max_depth=3, learning_rate=0.05, subsample=0.8, colsample_bytree=0.8, eval_metric="auc", early_stopping_rounds=30, ) model_xgb.fit( X_train, y_train, eval_set=[(X_val, y_val)], verbose=False, )

为什么max_depth=3？医疗数据信噪比低，深层树很容易钻进个别异常样本的细节里，3 层足够捕捉常见交互效应又不容易过拟合。learning_rate=0.05配 300 棵树，是“小步慢走”的典型配置，每棵树贡献都很小，整体拟合更平滑。subsample=0.8和colsample_bytree=0.8分别做行采样和列采样，相当于给每棵树换一批视角，降低树与树之间的相关性。early_stopping_rounds=30会在验证集 AUC 连续 30 轮不提升时自动停掉，防止后期过拟合。这套参数不保证最优，但能给你一个稳定的分数起点。

4.3 逻辑回归与树模型的选型边界：一个对比表

深度学习在疾病诊断表格数据上不是一个优先选择，几万行样本、几百个特征的情况下，它的表现未必超过 XGBoost，还牺牲了全部可解释性。医疗场景对解释性的要求极高，这是我在每一次项目中都会提醒自己的边界。如果遇到输入是医学影像这类非结构化数据，深度学习才真正有发挥空间。

5. 避坑排查：数据泄露、准确率骗局与交叉验证里混入的未来数据

5.1 标签泄露：总费用和住院时长会把 AUC 骗到 0.99

现象：模型在验证集上的 AUC 高达 0.99，比任何论文里的结果都漂亮，但拿到独立的新一批病历数据上，分数直接掉到 0.70 多。

原因：特征里混入了“确诊之后才能知道”的字段。我把这种字段叫作事后变量。典型代表是住院总费用、住院天数、是否手术。一个人住院时间长、费用高、动了手术，本身就说明病情严重——模型学到的是“住院久的人病重”，而不是从症状和化验里诊断疾病。

解决：建特征之前，对每一个字段问一句“在诊断决策的那一刻，这个值能拿到吗？”。拿不到的一律拉黑。

# 把事后才知道的字段列入黑名单，不做特征 leakage_cols = ["total_charge", "los_days", "is_surgery", "discharge_medication"] X_train_clean = X_train.drop(columns=leakage_cols) X_val_clean = X_val.drop(columns=leakage_cols)

这个坑是最隐蔽的，因为从数据上看不出任何异常，AUC 高得诱人，你会以为是自己调参调得好。做疾病诊断模型，特征时间线永远要排在建模第一步。

5.2 准确率骗局：95% 准确率的模型可能什么都没学到

现象：模型报告上写着准确率 95%，看了混淆矩阵才发现，真正的确诊患者一个都没查出来，预测结果几乎全是阴性。

原因：类别分布极度不平衡，负样本占 95%，模型只要全猜阴性，准确率就是 95%。这个数字掩盖了模型对少数类完全没有区分能力的事实。

解决：在评估阶段抛弃准确率，改用 AUC、召回率、F1 和混淆矩阵。AUC 衡量的是模型把正样本排在负样本前面的能力，不受阈值和类别分布影响，是疾病诊断场景的核心指标。

from sklearn.metrics import roc_auc_score, recall_score, f1_score y_prob = model.predict_proba(X_val)[:, 1] y_pred = (y_prob >= 0.5).astype(int) print("AUC:", roc_auc_score(y_val, y_prob)) print("recall@0.5:", recall_score(y_val, y_pred)) print("f1@0.5:", f1_score(y_val, y_pred))

我想强调的是，用 AUC 做主要评估指标，不代表可以完全忽略阈值。AUC 衡量排序好坏，但临床决策需要一个具体概率切分点。后面会专门讲怎么结合漏诊成本去定这个阈值。

5.3 交叉验证时先归一化再划分

现象：同样的模型，交叉验证分数和线下独立测试分数差一大截，交叉验证总是偏高。

原因：预处理步骤跑在了数据划分之前。你用全量数据算了均值、方差、缺失值填充统计量，再切折做交叉验证，每一折验证集的信息已经混进训练过程了。这是一种极其容易忽视的泄露，特征筛选也一样。

解决：把预处理和模型装进同一个 Pipeline，让每一折都单独做 fit 和 transform。

from sklearn.pipeline import Pipeline pipeline = Pipeline([ ("prep", preprocessor), ("clf", model_lr), ]) # 交叉验证时，prep 只对训练折 fit，再 transform 验证折

一旦养成“所有预处理都进 Pipeline”的习惯，这个坑就再也不会踩。手动写fit_transform再transform，十次里有七八次会在某一步忘了验证集只能用transform。

5.4 类别不平衡评估的惩罚：F1 与阳性预测值的临床对照

现象：用 SMOTE 合成样本后，验证集 F1 涨了不少，但项目组医生评估时发现，模型预测的阳性患者里有一大半是误报。

原因：SMOTE 改变了训练集的患病率分布，模型预测的阳性数量超出真实患病率，导致阳性预测值（查准率）下降。F1 是通过率和查准率的调和平均，看起来平衡，但临床决策更关心查准率——误报一个患者意味着额外的检查和焦虑。

解决：评估报告分成两张表：一张放疾病筛查场景，优先看召回率；一张放确诊转诊场景，优先看查准率。同一个模型，场景不同，评估侧重点完全不同。这也是为什么我坚持在做完模型之后，一定要拉着实际使用的人对一遍评估指标的优先级。

6. 决策阈值与概率校准：把模型输出变成医生敢用的工具

模型训练完成、AUC 过关，这只是做了三分之二的工作。剩下最关键的一步，是决定患病概率切在哪条线上。默认阈值 0.5 在疾病诊断里非常武断：如果是传染病筛查场景，漏诊一个患者代价极大，阈值要压到 0.2 甚至 0.15，宁可多召回一些疑似病例，也不能放过真阳性；如果是入院手术决策，误诊会让患者接受不必要的创伤性治疗，阈值要拉到 0.6 以上，确保预测阳性时把握足够大。

同时要注意，XGBoost 输出的概率不是真实风险概率，它只是“排序分数经过 sigmoid 变换”的结果。直接拿 0.39 告诉医生“这个患者有 39% 的患病风险”，很可能与真实患病率存在偏移。我一般会做一次概率校准，再用校准后的概率去切阈值。

from sklearn.calibration import CalibratedClassifierCV calibrated = CalibratedClassifierCV( model_xgb, method="isotonic", cv=4 ) calibrated.fit(X_train, y_train) y_prob_calibrated = calibrated.predict_proba(X_val)[:, 1] # 筛查场景压低阈值，提高召回率 y_pred_screen = (y_prob_calibrated >= 0.2).astype(int)

method="isotonic"是一种非参数校准方法，不假设概率分布的形状，对树模型的输出效果比 Platt scaling 更稳。cv=4表示用 4 折交叉方式拟合校准器，避免校准过程过拟合。校准完成后做一条校准曲线，横轴是模型输出的患病概率，纵轴是真实患病比例，曲线越贴对角线说明概率越可信。我在交付项目时，习惯把校准曲线和决策阈值放在报告第一页，而不是把准确率放在最前面——因为医生打开报告只会问一句：你说这个患者会误诊，依据是什么？把决策阈值讲清楚，比任何精确率数字都更有说服力。这个习惯救过我很多次，也希望帮到你。

本文还有配套的精品资源，点击获取