基于深度学习的心电信号自动描记

在 PTB-XL 心电图数据集上构建波形/信号处理特征/视觉三分支多模态融合模型，配合跨模态对比学习对齐，系统对比 3 个单模态基线与 5 组消融配置。注意力融合以 0.9324 AUC 全面超越纯波形基线（0.9314），且优势在全部 5 个诊断类别上都成立。配套代码、28 页技术文档、面试问答和完整配图。

• 任务类型深度学习-多模态任务
• 专业方向计算机 · 医疗健康

项目亮点

• `基于深度学习的心电信号自动描记-项目说明.pdf` — 完整技术文档（对比实验、消融实验、面试问答）
• `docs/latex/` — 技术文档 LaTeX 源文件
• `multimodal_upgrade/` — 本轮多模态升级的代码、8 组实验的原始结果 json、图表
• `src/` — 数据加载、视觉分支、融合模型、统一训练脚本

数据与任务

如果你想要一个能在面试/复试里站得住脚的深度学习项目，这个多模态心电图（ECG）分类系统会很合适——它不只是"跑了个模型出个准确率"，而是有一整套严谨的对比实验 + 消融实验方法论，外加一段真实的科研历程可以讲。带中文注释的代码、一份近 30 页的技术文档、连答案都写好的面试问答文档、一整套可以直接做 PPT 的配图，都给你备齐了。

先说清楚，它到底在做什么

给一段心电图信号，系统要判断它属于哪些诊断类别（可能同时属于多类）：正常（NORM）、心肌梗死（MI）、ST/T 段异常（STTC）、传导阻碍（CD）、心室肥大（HYP）。用的是心电领域最常用的公开基准 PTB-XL：21837 条记录、12 导联、500Hz 采样率，按官方划分做训练/验证/测试集。

这个项目的特别之处在于：它不是从零开始的单模态练手项目，而是在一个已经跑通、AUC 0.93 的强波形基线基础上，认真验证"加入更多模态信息能不能带来正向收益"——这本身就是研究里最常见、也最容易被面试问到的问题：新想法到底有没有用，得靠实验说话，不能想当然。

数据长什么样

心电信号是什么样子、五类诊断标签之间差异在哪，先看真实数据：

一条记录并不是只有一路信号——12 导联同时记录同一次心跳在不同角度上的电信号，波形彼此相关又各有侧重：

视觉分支不是直接拿原始波形当图像看，而是用 Gramian Angular Field（GAF）变换把 1D 时序信号转成 2D 图像——本质是把每个时间点的角度信息编码进像素矩阵，让 2D-ResNet 也能处理时序信号：

标签分布也如实展示（多标签任务，类别间存在天然不均衡，这也是要用 AUC 而不是准确率评估的原因之一）：

三分支融合架构

代码上，融合模块被设计成可通过开关切换的结构，方便做消融实验——这是工程上"一套代码支持多组对比"的常见做法，面试官问"你这几组实验是怎么跑出来的"，答案就在这段代码里：

搞懂它，你能在面试里讲清楚什么

为什么朴素拼接融合反而不如纯波形基线？ 这是这个项目最值得讲的发现。波形分支单独训练就能拿到 0.9314 AUC，是一个很强的基线；但直接把三个分支的 embedding 拼接后接 MLP（0.9260），结果反而低于波形基线。原因不难理解：拼接融合把三个模态"平等"地交给下游网络，但"平等"不代表"同等有用"——DSP 特征（单独 0.6545）和视觉分支（单独 0.8203）都明显弱于波形分支，直接拼接会稀释强模态的判别信息，甚至引入噪声。面试问"多模态一定比单模态好吗"，这个真实的反例就是最有说服力的答案。

那注意力融合为什么能真正带来提升？ 注意力融合不是把三路特征简单相加，而是用一个可学习的 query 向量对三个分支的 embedding 做 softmax 加权——权重根据当前样本内容动态计算，模型可以自己学会"这条样本更该相信波形分支还是视觉分支"。结果是 0.9324 AUC，不仅超过朴素拼接，也超过纯波形基线，而且在 5 个诊断类别上全部一致占优（不是靠某一类"偏科"撑起来的平均值提升）。

消融实验又是怎么排查"提升到底来自哪个组件"的？ 单单看对比实验还不够，还要做消融——依次去掉视觉分支、去掉 DSP 分支、去掉对比学习损失，观察 AUC 怎么变化，才能定位"每个组件到底贡献了多少"：

面试官会问的，都帮你备好了

随便感受几个这个项目真实会被追问的问题：

• 多模态一定比单模态好吗？你这个项目里为什么朴素拼接反而更差？
• 注意力融合和拼接融合的本质区别是什么，为什么前者能避免弱模态拖累？
• GAF 变换是怎么把一维信号变成图像的？这样做的物理/数学意义是什么？

看到这几个问题会不会心里有底？面试问答文档把这个项目从整体思路到每个实验细节、各种可能追问的点，连参考答案都写好了——包括跨模态对比学习的原理、为什么用 AUC 而不是准确率评估多标签任务、以及这个项目更早期一段"论文方向没做成、及时调整"的科研历程怎么讲会显得成熟而不是减分。

配套资料：搞懂一个项目需要的，这里全都有

技术文档从项目缘起、相关工作、数据集，一路讲到方法架构、实验设置、结果分析：

技术文档、面试问答、源码注释、整套配图——搞懂一个项目、并在面试里讲清楚它，需要的全都备齐了。

适合谁

不管是准备医疗 AI / 计算机视觉 / 深度学习方向的考研复试、保研面试，还是想给简历添一个"有真实实验方法论支撑"的项目，这个题目都接得住。专业上，计算机科学、生物医学工程、电子信息、人工智能方向都很合适。它把信号处理、深度学习多模态融合、对比学习和严谨的对比/消融实验方法论串成了一条完整的研究闭环——把它真正搞懂、能讲出来，就是一个经得起追问的项目。