处理脏数据往往是建模路上最头疼的一步。而 TabICL 作为开源表格基础模型（tabular foundation model），对缺失值、类别列和字符串输入提供了开箱即用的自动处理：无需手工编码或填充，fit一步完成预处理与预测。本文带你摸清它的内置机制、数据格式要求和 skrub 进阶方案，让脏数据不再挡路。

为什么 TabICL 不怕脏数据 🤔

TabICL 的核心思想是上下文学习（in-context learning）：训练集、标签和测试样本一起送入预训练的 Transformer，一次前向传播即可得到预测结果。它的整体架构由三个 Transformer 协作完成：

这种设计带来一个关键好处——NaN 是模型的"原生语言"。模型在预训练时就用全 NaN 列表示"特征不存在"，因此缺失值不是需要打补丁的 bug，而是架构层面就支持的正常输入。这也是它做 SHAP 可解释性分析时能以全 NaN 行作为背景的原因（见src/tabicl/shap/_shap.py）。

缺失值：内置自动填充，无需手写 Imputer

TabICL 对缺失值的处理是全自动的，规则如下：

几个值得注意的细节：

• 分类器与回归器都声明了allow_nan = True标签（见 classifier.py 与 regressor.py），sklearn 生态里依赖该标签的管道组件能正确识别其输入兼容性。
• 预测时出现训练集没有的新类别，会被映射为unknown_value=-1，与缺失值同等待遇，不会抛异常。
• 整列全 NaN 的输入（常见于 SHAP 特征屏蔽）会被当作被掩码的特征跳过，predict_proba依然返回合法的概率分布（对应测试 test_predict_allnan_categorical.py）。

💡 也就是说：CSV 里随便带着多少NaN，你都可以原样fit，TabICL 会替你填好、编码好。

类别列与字符串：自动 ordinal 编码，但注意格式陷阱

自动识别四类"非数值"列

当 X 是 pandas DataFrame 时，TabICL 的 preprocessing.py 会自动把string、object、category、boolean四种 dtype 识别为类别列，做 ordinal（序数）编码；其余数值列走标准化与归一化流程。你甚至无需指定"哪一列是类别列"。

高基数列会收到警告

如果某个字符串列的唯一取值超过40 种，TabICL 会主动发出警告：

The following categorical columns have a cardinality above 40: [...]

提示你可能需要更好的字符串编码方式（比如 skrub 的TableVectorizer）。这其实是 TabICL 的"贴心提示"：ordinal 编码只看"是否相同"，看不到"是否相似"，取值一多效果就会下降。

⚠️ 最重要的坑：字符串数据必须用 DataFrame 传入

字符串列放在NumPy 数组里会直接报错：

NumPy arrays passed to TabICL must be castable to a numeric dtype, ... If your data contains categorical or string columns, pass it as a pandas DataFrame instead

因为 NumPy 数组的所有列共享同一 dtype，TabICL 无法逐列判断类型。正确姿势只有一行：

X = pd.DataFrame(X) # 或从 CSV 直接 pd.read_csv 读取

这也是新手最常踩的雷：同样的脏数据，DataFrame 能跑，NumPy 就崩。相关行为在 test_string_input.py 中有完整覆盖。

进阶：用 skrub 让高基数字符串"开口说话" 🚀

TabICL 原生只认"字符串是否相同"。如果你的是地址、商品名、自由文本这类高基数、语义相似的字符串，官方推荐搭配 skrub：

from skrub import TableVectorizer from sklearn.pipeline import make_pipeline from tabicl import TabICLClassifier pipeline = make_pipeline( TableVectorizer( low_cardinality="passthrough", # 低基数列交给 TabICL 原生编码 cardinality_threshold=10, high_cardinality=StringEncoder(n_components=10), # 高基数列用语义向量 ), TabICLClassifier() )

这套组合拳的逻辑是：

• 低基数列（唯一值 < 10）：passthrough直通给 TabICL，走它最擅长的 ordinal 编码；
• 高基数列：StringEncoder用词嵌入生成低维语义向量，相似的字符串在数值空间里也相近；
• 日期列：DatetimeEncoder可以展开星期、年内天数等周期特征（periodic_encoding='circular'），TabICL 自带的时序预测器TabICLForecaster也内置了同类 日期编码器。

官方教程 string_handling.py 在 open payments 数据集上的实测结论：skrub 预处理能显著提升 ROC AUC，代价是编码后列数变多、运行时间略增。

常见问题速查清单 ✅

总结：三步把脏数据交给 TabICL

1. 优先用 pandas DataFrame（pd.read_csv即可），这是处理脏数据的前提；
2. 缺失值、类别列、异常值直接fit：内置的均值填充、独立缺失类别、离群值裁剪（4 倍标准差）全部自动完成，源码见 preprocessing.py；
3. 高基数字符串/日期再上 skrub，用TableVectorizer做语义化特征工程。

脏数据不再是 TabICL 建模路上的拦路虎——把数据原样喂给它，剩下的交给模型。