研究如何让大模型更小、更快、更省显存，并能部署到边缘设备或低成本服务器。
很多学生会误以为高效大模型就是“换一个量化库”。真正的项目要把原模型、压缩模型和部署环境放在同一张表里比较，说明效果损失和资源节省是否值得。
这个方向非常适合做工程化展示：同一模型在 FP16、INT8、INT4、LoRA/QLoRA 或不同推理引擎下跑任务，输出延迟、吞吐、显存、模型大小和准确率曲线。
中文链路图：把方向拆成输入、模型、任务和成果
一个方向能不能做成项目，关键看它能不能落到明确任务、评价指标和实验数据。
任务地图：适合小白先判断项目切入点
只训练小模块完成任务适配。
降低模型体积和显存占用。
减少显存读写和注意力计算瓶颈。
把大模型能力迁移到小模型。
提高长对话推理速度。
比较不同部署方案的工程表现。
技术路线不是模型名清单，而是看这个方向的问题意识如何一步步变化。
技术路线图：帮助学生看懂方法演进
用低秩矩阵或小模块减少训练参数。
用低比特表示降低显存、带宽和存储成本。
减少显存访问和重复计算，提升长上下文效率。
把模型推理放进实际硬件和服务约束里评估。
这不是让你背论文名，而是按时间线建立路线感：先看每篇论文解决了什么问题，再看图里哪一块最关键，最后知道它适合放进什么项目里。
为什么重要：LoRA 让微调大模型不再需要更新全部参数，是低成本适配任务的经典方法。
新手读法：重点看低秩矩阵插在哪里、训练参数减少多少，以及为什么可以和原模型权重分开保存。
打开论文 / 来源为什么重要：FlashAttention 不是近似注意力，而是通过 IO-aware 设计减少显存读写，是高效推理和训练系统的重要基础。
新手读法：重点看 tiling、SRAM/HBM 访问和 exact attention 的关系，理解为什么瓶颈不只在算力。
打开论文 / 来源为什么重要：GPTQ 展示了大模型可以在训练后量化到低比特，是本地部署和显存压缩的重要代表。
新手读法：重点看逐层量化、误差补偿和校准数据如何影响最终精度。
打开论文 / 来源为什么重要：QLoRA 把 4-bit 量化和 LoRA 微调结合起来，让单卡微调更大模型成为可能。
新手读法：重点看 NF4、double quantization、paged optimizer 和 LoRA adapter 如何共同降低显存。
打开论文 / 来源不同任务不能只看 Accuracy。论文和项目都要说明指标为什么适合当前问题。
压缩或量化后保留原模型能力的比例。
单请求响应时间，部署项目必须关注。
单位时间可处理请求数量，服务化时很关键。
显存、内存和模型文件大小。
端侧或云端运行成本。
长上下文和 KV cache 优化后的成本表现。
小白选题时先确认数据、代码和 benchmark 是否可获得，否则方向再热也很难落地。
学生看老师主页最难的是不知道关键词背后对应什么任务和能力要求。
通常对应 INT8/INT4、校准数据、精度损失、显存压缩和推理速度。
多半在做低成本微调、adapter 合并、任务适配和训练显存分析。
要关注长上下文、多轮对话、缓存复用和吞吐延迟曲线。
通常指本地推理、端侧部署、模型大小、功耗和离线可用性。
真正适合学生的路线，是先跑通最小闭环，再逐步加难度。
用 LoRA/QLoRA 在小模型上完成任务适配。
比较 FP16、INT8、INT4 的效果和显存。
用 vLLM、llama.cpp 或 ONNX 做服务化。
形成效果-延迟-显存-成本完整曲线。
下面这些题目不是空泛口号，而是可以沉淀代码、实验结果、图表和论文雏形的方向。
对比模型体积、显存、延迟和准确率。
用同一任务比较训练成本与效果。
用 llama.cpp 或 vLLM 做可演示服务。
测试长上下文下速度和显存增长。
这部分覆盖搜索和咨询时最高频的问题。
可以从 LoRA、QLoRA、小模型量化和推理性能测试入手。
必须同时给出效果指标、显存、延迟、吞吐和模型大小。
两者都可以，但学生项目更容易从工程评测和部署报告做出完整闭环。
这个方向只是计算机科研路线中的一个入口。你也可以继续查看多模态学习、世界模型、推荐系统、可信 AI 等方向，再结合自己的专业基础、目标导师和时间周期选择更合适的切入点。