跨底座家族中医大语言模型微调的系统性对比研究：容量阶梯、家族效应与可教性

——同一数据、同一配方下 8 个开源底座（7B–72B）的中文医考专精微调实证

v1.3（2026-07-27，新增 14 语多语言评测 + 新 3 底座安全/错别字补齐） · 伊妹智能门诊 AIMate 研究团队 · 技术报告

摘要

针对「基层诊所本地可部署的中医专精大模型」这一目标，我们在完全相同的训练数据（270,208 条）与完全相同的微调配方下，系统训练了横跨 Qwen（R1-Distill/Qwen2.5/Qwen3 三系）、GLM-4、Llama 三大家族、多个代际、7B–72B 容量谱的 8 个开源底座（7 个完成全量训练与评测，1 个中止），回答三个问题：（1）容量扩展是否带来稳定收益？（2）更换模型家族/代际是否有额外增益？（3）与前沿联网模型相比，本地开源专精模型处于什么位置？

主要发现：①容量阶梯单调有效——R1-Distill-Qwen 系 7B→14B→32B→72B，中医 MCQ 准确率 36.0%→71.0%→76.3%→85.3%，通用医学 43.7%→73.7%→83.8%→90.3%，7 个模型各自的 base→tuned 提升均为配对 McNemar 显著（p≈0）。②家族/代际有独立增益——同为 14B，Qwen3 原生底座双轴全胜 R1-Distill-Qwen-14B（中医 73.5% vs 71.0%，通用 80.0% vs 73.7%）；DeepSeek-R1-0528-Qwen3-8B 展现全表最强「可教性」（base 仅 4.2%，微调后 65.7%，Δ+61.5pp）。③本地 72B 打平联网前沿——纯本地、不联网的 Qwen2.5-72B 微调模型与联网前沿 v4-pro 在 n=811/801 大 held-out 上统计持平（中医 85.6% vs 86.8%，p=0.47；通用 89.8% vs 87.6%，p=0.18）。安全评测另发现容量跃变现象：32B 起安全审查特异度从 ~0.03 跃升至 0.73，幻觉率下降 9 倍。全部原始评测数据、显著性统计与训练 provenance 随本文公开。

关键词：中医大语言模型；参数高效微调（QLoRA）；模型容量；跨家族对比；去污染评测；McNemar 检验

1. 引言

基层中医诊所的智能化辅助（语音转写、病历生成、处方安全审查）对语言模型提出三个硬约束：专精（中医辨证论治知识与医考级答题能力）、本地（患者数据不出诊所，模型须可在消费级 GPU 上量化运行）、可信（安全审查不滥报不漏报）。这决定了我们的技术路线：以开源底座 + 领域数据微调获得专精能力，而非依赖云端通用 API。

在此路线下，一个关键的工程与科学问题是：底座怎么选？ 容量（7B/14B/32B/72B）、家族（Qwen/GLM/Llama）、代际（Qwen2.5/Qwen3）、推理血统（R1 蒸馏/原生）四个维度交织，社区经验结论多来自通用英语基准，对中文医学专精场景未必成立。传闻式结论（“越大越好”或“小模型够用”）都不可靠——唯有控制变量：同数据、同配方、同评测，逐一替换底座，才能得到可决策的证据。

本研究即这一控制变量实验的完整记录。我们的贡献：

1. 一张可复现的跨底座对比表：8 个底座（7 完成 + 1 中止）× 同一 270,208 条训练集 × 同一 QLoRA 配方 × 同一 n=1,612 大 held-out，全部配对统计显著性检验；
2. 三个实证结论：容量阶梯单调、家族/代际有独立增益、「可教性」（teachability）与 base 分数负相关；
3. 一个安全容量跃变发现：安全审查特异度在 32B 档发生阶跃（0.03→0.73），对临床部署的审查链路设计有直接指导意义；
4. 完整的数据治理与诚实边界：held-out 与训练集零重叠经多轮独立核验，所有不可比因素（库兼容折扣、收敛提前停止）如实标注。

2. 数据

2.1 训练集

全部 run 使用同一 v3 训练集，270,208 条，8 个来源（各文件 SHA-256 前缀逐 run 经 run_manifest.json 核验一致）：

2.2 评测集（held-out）与去污染

主评测为 CMB 大 held-out：从 CMB-train 分层切出，近重复去污（丢弃 384 道改写重题）后从训练集中删除该批题目（→ cmb_full_v2），最终 cmb_tcm（中医）n=811、cmb_medical（通用医学）n=801。外部基准 CMExam 因与 CMB-train 存在 19.2% 逐字重叠（非独立）被弃用为评测集，仅作训练补充。

去污染经三轮独立核验：（1）切分时近重去污门（0/1,609 通过）；（2）对全部 8 个训练文件做 char-8gram containment + 精确子串核验，0 泄漏；（3）2026-07-14 可信度复审以跨全源精确匹配复查，残留污染影响 ≤0.12pp，可忽略。安全评测集扩至 n=195（30 个 clean 标准方 + 165 个错例，全部经 check_prescription_safety 自检且与训练评审池不相交）。错别字评测 n=90。

2.3 数据合规

训练数据全部来自公开学术基准与自建知识库，不含任何真实患者数据（PII-free）。残留风险为上游考题版权未逐题清权（行业通用灰区），本文如实披露。

3. 方法

3.1 微调配方

本地与 32B 云训统一使用自研 train_lora.py：QLoRA 4-bit + packing，epochs=1，LoRA rank=16（alpha=32），lr=1e-4，cutoff 1024（32B 云训 2048）。选用自研栈而非 LLaMA-Factory 的关键原因是健康门：训练后对推理模型做退化检测（空 <think>、重复崩溃），exit 3 拦截坏模型——曾因 LLaMA-Factory deepseekr1 模板在 no-think 数据上令推理模型崩溃且无任何门拦，得出一版完全错误的“32B≈14B”结论（已作废，详见 §6.4）。72B 因单机不可行，采用 AWS 4×g6e.2xlarge 多机 DDP（LLaMA-Factory + Liger + paged_adamw_8bit，template=qwen，非推理底座无此崩溃风险）。

3.2 评测协议

全部模型同 harness：base 4-bit + LoRA adapter，batch 8，max_new_tokens=512（GLM-4 例外，见 §7）。每模型先评 base 再评 tuned，同题配对。判分为精确集合相等（多选须一字不差，防止乱答刷分）。空答率全程为 0，排除“格式学不会”干扰——base→tuned 增益为知识增益而非格式增益。

3.3 统计

base→tuned 及跨模型配对比较用 McNemar 检验（同题配对，报告胜/负题数与 p 值）；与前沿模型（独立样本）比较用两独立比例 z 检验；准确率报告 Wilson 95% CI。

4. 实验设置：训练全景

注：72B 的 max_steps=5,266 但 loss 自 step~130 起进入死平带（均值 0.084/标准差 0.036，无下降趋势），于 checkpoint-2400（46%）判定收敛停止，节省约 $25 且 provably 零增益；Llama-70B 训 3h40m 仅 150/755 步（0.06 epoch），续训需约 $45，边际信息价值不足，中止，checkpoint 保留可 resume。

5. 结果

5.1 主结果：MCQ 大 held-out（cmb_tcm n=811 / cmb_medical n=801）

全部 7 个模型 base→tuned 提升均 McNemar p≈0（显著提升）。⚠️ GLM-4 因 remote code 与 transformers 4.57 三处不兼容、强制 use_cache=False 导致只能以 max_new=128 跑评（其他模型 512），分数含库兼容折扣（估计被低估 2–5pp），与其他行不严格可比。

5.2 与联网前沿对比

v4-pro（联网，可检索答案）在同 held-out、同 prompt、同判分下：中医 86.8%、通用 87.6%。两独立比例 z 检验：中医 72B 85.6% vs 86.8%，z=−0.72，p=0.47（持平）；通用 72B 89.8% vs 87.6%，z=+1.34，p=0.18（持平）。即纯本地、不联网的开源 72B 专精模型与联网前沿同档。此前 n=55 小样本曾出现“超前沿”假象，大样本（n 大 15 倍）纠正为持平——准确表述为「同档，随题集分布小幅上下」。

5.3 安全评测（处方审查，灵敏度/特异度）

容量跃变：14B→32B 特异度 0.03→0.73——7B/14B/72B 均患“逢方乱报”病（特异度≈0，clean 方也报有问题），32B 档首次治愈；幻觉率 0.374→0.041（9× 下降）。生产审查链路仍使用专用平衡版 7b-safe（0.48/0.90，rebalance 配比训练，特异度优于前沿 API 的 0.10）。

5.4 错别字纠正（n=90）

5.5 多语言评测（14 语，v1.3 新增）

方法：同卷不同语——同一份 clean held-out（797/787）经术语锚点约束的机器翻译（105 条术语表，答案字母不变、判分零改动）译成 13 种语言，同 harness 逐语言评测；zh 用 clean 原集同卷锚定，Δ 为与各语言对 zh clean 基准的差值。

主矩阵（tuned 准确率%，括号内 = Δ vs zh）：

五条结论：

1. 中医知识强中文绑定——两型号中医轴全语言衰减（−10~−45pp）且远大于通用轴，多语言中医服务需补多语言训练数据；
2. 通用医学韧性强——en 几乎不掉（14b-v3 反 +0.4pp，噪声内持平）；
3. qwen3-14b 全语言压制 14b-v3（14/14 双轴全胜）——主推选型在多语言维度同样成立；
4. 低资源语言（kk/uz）塌方（14b-v3 kk 中医仅 25.6%）——现阶段这些区域只能回退英语服务；
5. RTL（ar/fa）无额外折扣。

6. 讨论

6.5 部署路线

• 知识/生成主力：蒸馏 72B→14B/7B（把 CMB 专精压进诊所可本地量化的小模型）；
• 需辨证论治 CoT：32B-full-lora（保推理链）；
• 安全审查：专用平衡版 7b-safe（非知识模型——知识模型安全轴“逢方乱报”，特异度 0.10，不可用于审查）。

7. 局限性

1. GLM-4 评测折扣：库兼容问题强制 use_cache=False（O(n²) 生成），评测以 max_new=128 完成，分数或被低估 2–5pp；且其 base 空答率 ~6%（按答错计入，Δ 上限影响 ~6pp）与库折扣叠加——与其他行不严格可比；严格重评应换官方 glm-4-9b-chat-hf（transformers 原生支持）重训。
2. base 空答非零：tuned 空答 7/7 全为 0/0，但 base 空答 0.1%–6.3%（多为格式未跟随）按答错计入——base 分数含格式失败成分，非纯知识水平；对 Δ 上限影响 ≤6.3pp，不改变任何显著性结论（逐模型量化见 analysis_reports/eval_coverage_audit_2026-07-22.md）。
3. 72B 为收敛检查点（epoch 0.46，loss 死平带内），非满跑；与同系列满跑分数在噪声内一致，但严格来说不是“完整 1 epoch”。
4. GLM-4 安全评测为无效值（灵敏 0/特异 1.0 是输出退化所致，非真实能力）；根治需换官方 chat-hf 重训重评。
5. Llama 家族缺失：70B run 中止，家族对比少一角。
6. 分布特异性：所有结论限于 CMB 中文医考分布的专精微调场景；“打平前沿”指该分布，不等于整体医学能力超越。
7. 量化影响：评测全程 4-bit，只会拖低不会抬高，绝对分数为保守下界。
8. 多语言结论的边界：13 语考题为术语约束的机器翻译版（Δ 含翻译折扣），结论限「该翻译版试题上的表现」；kk/uz 等低资源语言的低分同时含模型多语能力与翻译质量两个因素。

8. 结论

在同一数据、同一配方的严格控制下，中医专精微调的底座选择有清晰的可操作结论：容量单调有效；新代际底座（Qwen3 系）在同容量下额外 +2–6pp；R1 蒸馏底座“可教性”最强；纯本地 72B 可与联网前沿打平；安全审查存在 32B 容量跃变。 对基层诊所部署，推荐“72B 蒸馏→Qwen3 系 14B 生产 + 7b-safe 审查”的组合路线。

附录 A：复现

# 单个新底座（本地 RTX 5090）/ A single new base (local RTX 5090)
bash finetune/scripts/train_new_base_local.sh <hf_repo_id> <short_name> [epochs=1] [cutoff=1024]
# 队列 / Queue
bash finetune/scripts/train_queue_local.sh
# 汇总出表 / Summary table
python3 finetune/eval/summarize_v3full.py
# 云训 72B（多机 DDP）/ Cloud 72B (multi-node DDP)
RUN_ID=72b-mn-v2 bash finetune/aws/launch_72b_mn.sh 4

原始评测数据：finetune/eval/results/（validation_*_v3full.json 含逐题结果与 McNemar 统计、safety_*.json、typo_*.json、v3full_summary.json）；训练 provenance：finetune/eval/results/manifests/（各 run 的 run_manifest.json，含 base 路径、8 数据文件 SHA-256、配方、git commit）。

附录 B：伦理与数据合规声明

本研究训练数据全部为公开学术基准与自建知识库，不含真实患者数据；held-out 与训练集零重叠经三轮独立核验；所有不可比因素与负面结果（含一版作废结论）均如实披露。上游考题的版权灰区已在 §2.3 披露，模型权重按各底座许可证使用（随模型附带《AIMate-TCM 模型社区许可 v1.0》：学习研究免费、商业须授权、全球南方与“一带一路”优惠）。

附录 C：术语表（写给非专业读者）

本研究涉及的模型为临床决策辅助工具，不替代医生诊疗决策；非医疗器械（未经 NMPA/FDA/EMA 审批）。