本文收录于专栏开源多肽性质预测—— 专栏系统覆盖开源多肽性质预测工具，点击订阅可跟踪后续更新。

你做环肽或修饰肽的机器学习，被表示问题卡住：SMILES 把大环拓扑写成“隐藏字符串”，ESM-2 这类蛋白语言模型又把非天然氨基酸模糊化。HELM-BERT（京都大学 Okuno 组，JCIM 2026）直接在 HELM 符号语言上预训练 DeBERTa 编码器，让模型天生“看见”单体身份与共价连接。这篇给你原理拆解、核心结果、本地部署实战与踩坑清单。你装好后把自己的修饰肽用 HELM 串喂进去，拿到的嵌入直接接下游性质预测头。

关键字：HELM-BERT、修饰肽、HELM 符号、DeBERTa、环肽渗透性、非天然氨基酸、本地部署、嵌入提取

目录

• 一、为什么需要 HELM-BERT？多肽的"三不管地带"
• 二、模型架构：DeBERTa 三件套 × HELM Tokenizer
• 三、核心结果
• 四、本地部署实战
• 五、实战踩坑
• 六、模型定位：什么时候用 HELM-BERT
• 七、总结与局限

多肽药物设计最大的痛：SMILES 把大环写成"隐藏字符串"，蛋白语言模型不认识非天然氨基酸。HELM-BERT 另辟蹊径——直接用 HELM 符号语言预训练一个 Transformer，让模型天生就"看见"环化和交联。

环肽和化学修饰肽是当前最热门的治疗模态之一，但它们卡在了一个尴尬的夹缝里：SMILES 把环拓扑"隐形"了，蛋白语言模型（如 ESM-2）把非天然氨基酸"模糊化"了。2026年7月，京都大学 Okuno 组在J. Chem. Inf. Model.发表了 HELM-BERT——一个直接在 HELM（Hierarchical Editing Language for Macromolecules）符号上预训练的 DeBERTa 编码器，把单体身份 + 共价连接同时暴露给模型学习。

论文: Lee S et al.J. Chem. Inf. Model.2026, 66, 7900–7916. doi:10.1021/acs.jcim.6c00451

代码: https://github.com/clinfo/HELM-BERT

模型: https://huggingface.co/Flansma/helm-bert

一、为什么需要 HELM-BERT？多肽的"三不管地带"

1.1 SMILES 的困境：环是隐藏变量

环孢素 A 在 SMILES 里长这样（简化示意）：

CCC1C(=O)N(CC(=O)N(C(C(=O)NC(C(=O)N(C(C(=O)NC(C(=O)NC(C(=O)N(C(C(=O)N(C(C(=O)N(C(C(=O)N(C(C(=O)N1)C(C)C)C)C)C(C)C)C)C)C)C)C(C)C)C)C(C)C)C)C)C

那个环闭合数字1（C(=O)N1→N(C(C(=O)N1）是把拓扑压缩成了一个字符串级别的"跳转指令"。模型必须从这个数字推断环结构——对于功能强烈依赖于大环拓扑的环肽（如渗透性、靶点选择性），这种"隐式编码"让学习变得脆弱。

1.2 蛋白语言模型的困境：不认识非天然氨基酸

ESM-2 等模型假设标准 20 种氨基酸，遇到：

• 非天然单体（如 Me-Bmt、Abu、Sar）→ 映射为[UNK]或模糊 token
• 化学修饰（N-甲基化、乙酰化）→ 完全丢失
• 交联/环化→ 没有标准机制表达

CycPeptMPDB 中99.8%的环肽含非天然单体——这不是边缘 case，是主流。

1.3 HELM 的解决方案：序列-连接分离

HELM 把每条肽拆成两部分：

① 简单聚合物（序列部分）:

PEPTIDE1{A.G.K.C.D}$$$$

② 连接列表（拓扑部分）:

PEPTIDE1,PEPTIDE1,5:R3-10:R3

→ 5号残基的 R3 手柄 与 10号残基的 R3 手柄形成交联

核心洞察：环闭合和交联是"一等词汇"而非隐式字符串编码——模型可以像看序列一样直接"看到"拓扑。

二、模型架构：DeBERTa 三件套 × HELM Tokenizer

论文原话：“A representation that makes connectivity explicit changes which invariances and task-relevant structural factors are accessible to learning.” ——显式暴露连接性的表示，改变的是模型"能看到什么"而非"怎么编码"。

2.1 Tokenizer：压缩字符级 + 类别标注，78 token 吃下全部多肽

HELM-BERT 的 tokenizer 在 HELM-GPT 的字符级方案上做了三个编码器适配：

① 添加 BERT 特殊 token：[MASK]、[BOS]、[SEP]

② 扩展压缩字典（从 2 个高频基序 → 4 个）：

"PEPTIDE" → "/" （聚合物标识符） "me" → "*" （N-甲基化） "am" → "\t" （酰胺化，新增） "ac" → "&" （乙酰化，新增）

这四个修饰覆盖了 ChEMBL/CycPeptMPDB/Propedia 语料中最常见的修饰基序，保证它们始终是单个 token而非多个字符的拼接。

③ 类别标注 + 选择性 mask：78 个 token 被标注为 8 个类别：

关键设计：Span masking 仅作用于非特殊 token，保护 HELM 结构骨架不被破坏。

连接列表（如PEPTIDE1,PEPTIDE1,5:R3-10:R3）被追加到简单聚合物之后，通过同一个 tokenizer——括号、数字和连接符号是天然的词表成员，环闭合和交联被显式存为 token 序列。这与 SMILES 中把连接信息"藏"在数字环闭合标签里有本质区别。

2.2 DeBERTa 骨干：三组件联合建模

① nGiE（n-gram Induced Encoding）——第一层卷积捕捉局部模式

H₁ᶜᵒⁿᵛ = tanh(Dropout(Conv1D(H₀, kernel=3))) (1) H₁ᵃᵗᵗⁿ = DSA(H₀) (2) H₁ = LayerNorm(H₁ᵃᵗᵗⁿ + H₁ᶜᵒⁿᵛ) (3)

第一层并行计算 1D 卷积 + 解耦自注意力，残差连接后做 LayerNorm。训练中卷积核范数增长到 30.17——证明 nGiE 在真正学习而非闲置。去掉 nGiE 后位置嵌入范数暴增 123%（20.56→45.82），说明绝对位置嵌入在部分补偿卷积的缺失。

② Disentangled Self-Attention（解耦自注意力）——三路注意力分解

Aᵢⱼ = Qᵢᶜ·(Kⱼᶜ)ᵀ ← content-content（词义模拟） + Qᵢᶜ·(Kᵣ₍ᵢ,ⱼ₎)ᵀ ← content-position（我的内容×你的位置） + Kⱼᶜ·(Qᵣ₍ⱼ,ᵢ₎)ᵀ ← position-content（我的位置×你的内容） (4)

其中 Qᶜ/Kᶜ 是内容向量，Qʳ/Kʳ 是相对位置向量，δ(i,j) 是被截断的相对距离。三路分解让模型能显式建模相对位置效应——在需要联合解释"序列 token"（如[meL]）和"连接 token"（如5:R3-10:R3）时，相对位置编码让"第5个残基的R3手柄"和"第10个残基的R3手柄"的位置关系成为可学习的信号，而非隐式推断。

③ EMD（Enhanced Mask Decoder）——位置注入 + 权重绑定迭代精炼

Q⁽⁰⁾ = Hₗ₋₁ + P_abs (5) ← 注入绝对位置嵌入 Q⁽ᵗ⁾ = TransformerBlockₗ(Q⁽ᵗ⁻¹⁾, K, V), t=1,2 (6) ← 两次迭代精炼

EMD 在倒数第二层（Layer 5）的输出上注入绝对位置嵌入，用与最后一层（Layer 6）共享权重的 Transformer block 做两次迭代，最终的 MLM 预测头投射到词表 logits。

三个组件的贡献是联合而非单一主导：任何单一消融（去解耦注意力/EMD/nGiE/Span masking/连接 token）在下游 R² 上均 ≤ −0.019 且不显著。只有累积替换为 Vanilla-BERT（标准 Transformer + token 级 MLM）才显著下降 ΔR²=−0.041（d=1.85, p=0.018）。

2.3 预训练数据管线：39K 序列的清洗与统一

数据来源

数据特征

关键预处理步骤

1. 聚合物标识符归一化：PEPTIDEn→PEPTIDE1（防止模型学到数据源特异编号）
2. 连接段确定性排序：按 source monomer index → target monomer index → R-group handles
3. 互变异构体/E/Z 异构体保留：HELM 层面身份不同 → 视为不同实体
4. 单体库统一：同构判定 = SMILES + R-group 连接数 + 单体类型（backbone/terminal），优先保留 CycPeptMPDB 符号

数据消融实验证明：排除任何单一源（含 CycPeptMPDB 自身）对下游渗透性预测无显著影响（|d|≤0.60, p≥0.45），但 from-scratch vs 预训练差距显著（ΔR²=−0.052, d=2.37, p=0.002）——收益来自预训练过程本身，而非特定数据源。

三、核心结果

统计方法：所有模型对比采用 Nadeau-Bengio corrected resampled t-test + Benjamini-Hochberg FDR 校正（面板内），报告 Cohen’s d 效应量。|d|<0.2 忽略，0.2-0.5 小，0.5-0.8 中，≥0.8 大。† / a 标记表示 FDR 显著（p_adj<0.05）。

3.1 环肽膜渗透性（CycPeptMPDB, n=7,715 剔除 logPapp≤−10.0 异常值后）

随机拆分（Random Split, 10-fold CV）：

† FDR 显著 (p_adj<0.05) vs HELM-BERT

骨架拆分（Murcko Scaffold Split）——所有共享 Murcko 骨架的肽被强制放在同一 fold，测试真正的分布外泛化：

† FDR 显著 vs HELM-BERT

三层训练协议揭示了输入表示差异的"补偿深度"：

• Full finetuning：编码器完全可更新 → HELM vs SMILES 差距缩小（ΔR²=0.022, p_adj=0.155, 不显著）——下游微调可以部分补偿输入表示的差异
• Head finetuning：编码器冻结 → HELM 显著优于架构匹配的 SMILES 对照（ΔR²=0.047, d=1.33, p_adj=0.019）
• Linear probing：仅训练线性层 → HELM 大幅优于 SMILES（ΔR²=0.069, d=2.48, p_adj=0.001）

这意味着：HELM 符号让渗透性相关的结构特征在冻结表示中更"线性可及"——当编码器无法适应下游任务时，HELM 的优势最明显。完整微调时模型学会了从 SMILES "自学"拓扑，但这种学习是有代价的（训练慢 2.2×）。

骨架拆分：绝对性能下降（R² 0.67→0.48），但 HELM-BERT 在所有指标、所有协议下保持最优均值。Full FT 下显著超过 MoLFormer-XL（ΔR²=+0.109, d=1.30）和 PeptideCLM（ΔR²=+0.244, d=3.18）。

3.2 嵌入质量分析：功能二分化

用线性 probing（冻结编码器 + Ridge/Logistic 回归）在预训练语料上评估嵌入质量：

物理化学性质回归（R²）：

† = SMILES 编码器显著优于 HELM-BERT（d>4.5, p<0.003）

→合理：SMILES 在原子级别操作（原子-键序列），天然适合原子级标量回归；HELM 在单体级别操作，抽象掉了显式原子图。

拓扑结构分类：

† d>10, p<0.001

t-SNE 可视化（Figure 5）直观证实：HELM-BERT 嵌入空间中结构类型（线性/环状/lariat）的分离最清晰，MoLFormer-XL 次之，PeptideCLM 混叠最严重。聚类指标（Silhouette/Davies-Bouldin/Calinski-Harabasz）一致支持 HELM-BERT 产生更拓扑结构化的嵌入空间。

功能二分化：SMILES 擅长原子级标量回归 / HELM 擅长拓扑结构保持——这不是"谁更强"的问题，而是"你要做什么"的问题。

3.3 多肽-蛋白相互作用（PPI）——双基准评估

Propedia benchmark（标准氨基酸线性肽，双编码器框架：肽编码器 + ESM-2 650M 蛋白编码器）：

关键发现：线性 probing 下 HELM-BERT (54M, 39K 序列) 与 ESM-2 (650M, 百万序列) 无显著差异（d=−0.87, p_adj=0.31）。

在标准肽 PPI 任务上，Propedia 完全由标准氨基酸线性肽组成——这本是蛋白质语言模型的主场。HELM-BERT 在这个"客场"做到持平，且在 frozen-representation 设置下显著优于 SMILES 编码器。

ChEMBL PPI benchmark（88.9% 肽含非标准单体，更大规模）：

Family split 下绝对性能骤降（random 0.988→family 0.781），因为测试集包含训练集从未见过的蛋白家族——这是 PPI 预测最接近真实场景的评估。HELM-BERT 在所有指标上保持最优均值。

“w/o ChEMBL” 消融（从预训练语料排除 ChEMBL）在 Random split MLP 下与完整模型无显著差异（ROC-AUC 0.9882 vs 0.9884, d=0.14, p=0.85）——证明强性能不是"背答案"而是"学会了规律"。

3.4 消融实验：联合贡献 vs 单一主导

三个深层发现：

1. 解耦注意力在预训练层面影响明确：去掉它使 MLM 收敛慢 64%、终端损失高 70%。同时绝对位置嵌入范数暴增 123%（20.56→45.82）——位置嵌入在部分补偿相对位置建模的缺失，但不能完全替代。

2. 排除 CycPeptMPDB 本身不显著影响下游渗透性性能——这消除了"模型只是在背 benchmark"的担忧。真正重要的是预训练过程本身。

3. 任何单一组件都不是"魔法开关"，这是精心设计的联合贡献架构——只有累积替换为 Vanilla-BERT 或完全跳过预训练才显著下降。

3.5 计算效率：HELM 的隐藏优势

相同 DeBERTa 架构 + 相同语料 + 相同 batch_size + 相同硬件：

自注意力 O(n²) → HELM 序列 512 token vs SMILES 1024 token → 理论 4× 加速，实际 14× 因为 SMILES 还需要梯度累积（32×2）来匹配有效 batch_size。

内存侧优势：HELM-BERT 在单 GPU 上一次前向/反向传播即可达到有效 batch 64；SMILES-HELM-BERT 需要梯度累积 → 降低了对训练硬件的门槛。

💻 Linux 实测（消费级 GPU（12 GB 显存））

5 epochs 即达论文 82% 性能，消费级 GPU（12 GB 显存） 完全可跑完整训练。

四、本地部署实战

4.1 硬件要求

实测：消费级 GPU（12 GB 显存） 可以跑下游 Full FT（batch_size=32），模型仅 219 MB 权重。

4.2 克隆仓库

gitclone https://github.com/clinfo/HELM-BERT.gitcdHELM-BERT

官方仓库之外，社区有增强 fork——额外加了 CREMP 数据库（预训练数据翻倍到 ~75K）、支持 Caco-2 渗透性任务、WSD 学习率调度、PyTorch Lightning 框架，可在 GitHub 搜索 HELM-BERT 获取。本文实测基于该增强版。

4.3 创建 Conda 环境

conda create-nhelm-bertpython=3.11-yconda activate helm-bert# 安装依赖pipinstalltorch torchvision torchaudio pipinstalllightning transformers tokenizers omegaconf pipinstallscikit-learn pandas numpy scipy matplotlib seaborn statsmodels pipinstallrdkit pyyaml requests pydantic rich tqdm pipinstallwandb accelerate huggingface_hub cryptography

4.4 推理：一行代码提取 HELM 嵌入

fromtransformersimportAutoModel,AutoTokenizer model=AutoModel.from_pretrained("Flansma/helm-bert",trust_remote_code=True)tokenizer=AutoTokenizer.from_pretrained("Flansma/helm-bert",trust_remote_code=True)# 环孢素 A (Cyclosporine A)helm_str="PEPTIDE1{[Abu].[Sar].[meL].V.[meL].A.[dA].[meL].[meL].[meV].[Me_Bmt(E)]}$PEPTIDE1,PEPTIDE1,1:R1-11:R2$$$"inputs=tokenizer(helm_str,return_tensors="pt")outputs=model(**inputs)embeddings=outputs.last_hidden_state# shape: (1, seq_len, 768)# 均值池化得到分子嵌入向量mol_embedding=embeddings.mean(dim=1)# (1, 768)

模型首次加载会自动从 HuggingFace Hub 下载权重（~219 MB），国内用户设export HF_ENDPOINT=https://hf-mirror.com走镜像。

4.5 下游微调：渗透性预测

# PAMPA 渗透性 — 随机拆分python scripts/train_regression.py--configconfigs/permeability_random.yaml# PAMPA 渗透性 — 骨架拆分（更严格）python scripts/train_regression.py--configconfigs/permeability_scaffold.yaml# Caco-2 渗透性（论文外的增强任务）python scripts/train_regression.py--configconfigs/permeability_caco2_random.yaml

4.6 下游微调：PPI 预测

# Propedia PPI — 随机拆分python scripts/train_ppi.py--configconfigs/ppi_random.yaml# ChEMBL PPI — Family 拆分python scripts/train_ppi.py--configconfigs/ppi_chembl_family.yaml

4.7 从零预训练（可选）

# 从 Hub 模型继续预训练python scripts/train_mlm.py# 完全从零训练python scripts/train_mlm.py--from_scratch

五、实战踩坑

5.1 模型加载陷阱：trust_remote_code

# ❌ 不加会报错model=AutoModel.from_pretrained("Flansma/helm-bert")# ✅ 必须加 trust_remote_codemodel=AutoModel.from_pretrained("Flansma/helm-bert",trust_remote_code=True)

原因是 HELM-BERT 的 tokenizer 和模型包含自定义代码（modeling_helmbert.py、tokenization_helmbert.py），HuggingFace 需要显式授权。

5.2 国内网络：走 HF 镜像

exportHF_ENDPOINT=https://hf-mirror.com python-c"from transformers import AutoModel; AutoModel.from_pretrained('Flansma/helm-bert', trust_remote_code=True)"

5.3 数据集路径

下游任务的训练/测试 CSV 已全部预拆分好，在data/downstream/下：

cycpeptmpdb_permeability_pampa_random_train.csv # 16.7 MB, PAMPA 训练集 cycpeptmpdb_permeability_pampa_random_test.csv # 1.9 MB, PAMPA 测试集 propedia_ppi_random_train.csv # 26.6 MB, PPI 训练集 ...

预训练数据在data/mlm/下（4 个 CSV，54 MB）。

5.4 Weights & Biases 日志

默认训练脚本用wandb记录日志。如果不想用：

wandb offline# 或在 config yaml 里关掉 wnadb logger

六、模型定位：什么时候用 HELM-BERT

推荐工作流：HELM-BERT 提取肽嵌入 + ESM-2 提取蛋白嵌入 → 拼接 → 下游任务预测头（论文正是这么做的）。

七、总结与局限

核心贡献

HELM-BERT 验证了一个"可迁移配方"——对介于"化学"和"序列"之间的复杂生物分子模态，选择让任务相关结构约束显式化的表示，并用能保存这些约束的编码器预训练。论文原话：

“More broadly, this work suggests a general recipe for modeling complex biomolecular modalities that lie between ‘chemistry’ and ‘sequence’: choose a representation where task-relevant structural constraints are explicit, and pretrain an encoder whose inductive biases preserve and use those constraints.”

具体到多肽疗法：

• HELM 符号= 序列 + 连接分离 → 环化/交联是第一类词汇（而非隐式字符串编码）
• DeBERTa 编码器= 三路解耦注意力 + nGiE 局部卷积 + EMD 位置注入 → 联合贡献
• 结果：54M 参数 × 39K 序列 = 环肽渗透性 SOTA + PPI 与 650M ESM-2 竞争 + 14× MLM 加速

四个局限性（论文原文）

1. 依赖 HELM 注解质量：HELM 标注覆盖不完全，复杂修饰在数据库中普遍缺乏
2. 语料规模有限：39K 条已够学到可迁移特征，但更大规模可能进一步改善泛化
3. 拓扑保持切分不足：除 Murcko scaffold 外，应增加按环化类型/连接子化学/非标准单体类别 hold-out 的切分
4. 纯编码器架构：未来可结合 HELM 级聚合物拓扑 + 原子级单体描述符/图特征

对于做环肽/修饰肽设计的同学——如果你需要把非天然氨基酸、大环拓扑和化学修饰一起喂给 AI，HELM-BERT 是目前最完整的开箱即用方案。

参考资料

1. Lee S, Koyama T, Maeda I, Matsumoto S, Okuno Y. HELM-BERT: Topology-Aware Representations for Chemically Modified Peptides.J. Chem. Inf. Model.2026, 66, 7900–7916.
2. GitHub (原始): https://github.com/clinfo/HELM-BERT
3. GitHub (增强复现): https://github.com/clinfo/HELM-BERT（社区增强 fork 可在 GitHub 搜索 HELM-BERT 获取）
4. HuggingFace: https://huggingface.co/Flansma/helm-bert
5. HELM 原始论文: Zhang T et al.J. Chem. Inf. Model.2012, 52, 2796–2806.
6. DeBERTa: He P et al. ICLR 2021.

系列导航：专栏全集开源多肽性质预测

我的专栏