# AI 开发：把模型接入真实系统

> 从应用开发到推理和平台工程，理解接口、数据、状态、工具和上线运行分别意味着什么。

适合阅读：关注 AI 应用、Agent、平台研发的读者  
更新：2026-09-05

## 模型调用只是系统中的一步

一个文档问答应用需要处理文件上传、内容解析、检索、模型请求、引用展示和错误反馈。多人使用时，还涉及账号、权限、存储、并发和费用。开发工作的对象是整个运行系统，而不是只有调用模型的那几行代码。

不同岗位的技术深度差异很大。应用开发偏接口和产品实现，推理工程更关注模型服务性能，平台研发可能关注资源管理和通用能力。掌握一个框架并不自动覆盖这些方向。

## 三种常见开发对象

平台与基础设施的划分在不同团队中可能交叉。

| 方向 | 主要对象 | 常见问题 |
| --- | --- | --- |
| AI 应用 / Agent 开发 | 界面、业务接口、知识与工具 | 任务流程能否完成，失败能否被理解 |
| 推理与模型服务 | 模型加载、批处理、缓存、资源 | 延迟、吞吐、显存与费用如何平衡 |
| AI 平台 / Infra | 训练或部署平台、作业和监控 | 资源如何调度，服务如何被稳定使用 |

## 为什么需要状态和观察记录

Agent 在多步任务中必须知道已经取得哪些信息、调用过哪些工具、还有什么未完成。工具失败、结果为空和信息不足是不同情况。如果只展示最终一句话，开发者很难判断故障出在模型、接口还是流程。

观察记录可以串起一次请求的检索结果、工具参数、返回信息与最终输出。它服务于调试、质量分析和运行管理。涉及用户数据时，记录范围和访问权限也属于实现的一部分。

## MCP 和框架放在哪一层

MCP 用来描述应用与外部工具、资源之间的连接方式；它不是基础模型，也不会自动提高答案质量。Agent 框架帮助组织执行流程，知识库工具帮助处理检索。这些工具减轻部分实现工作，但产品边界、评价标准和业务接口仍需定义。

阅读 JD 时优先确认语言与系统要求，再看框架名。岗位要求“熟悉 RAG”，可能意味着能解释切分、检索、引用与评测；只会导入文件通常不足以说明整条链路。

## 参考资料与出处

- [Building LLM applications for production](https://huyenchip.com/2023/04/11/llm-engineering.html)（Chip Huyen）

- [AI Agents for Beginners](https://github.com/microsoft/ai-agents-for-beginners)（Microsoft 与贡献者）

- [MCP Architecture](https://modelcontextprotocol.io/docs/learn/architecture)（Model Context Protocol）

- [Agents Course](https://huggingface.co/learn/agents-course/unit0/introduction)（Hugging Face）

- [Generative AI for Beginners](https://github.com/microsoft/generative-ai-for-beginners)（Microsoft）

- [Knowledge](https://docs.dify.ai/en/cloud/use-dify/knowledge/readme)（Dify）

- [Learn the Basics](https://docs.pytorch.org/tutorials/beginner/basics/intro.html)（PyTorch）

## 对应经验原帖

- [面经](https://www.nowcoder.com/feed/main/detail/aca039781c9246b2a641bc3154f7c276?sourceSSR=dynamic)｜Showieee｜页面显示 09-02；面试写为 9.1，未显示年份｜雷鸟创新 · 软件开发实习

- [26届秋招字节后端二+三面速通面经详细版（附timeline）](https://ac.nowcoder.com/discuss/1554249?type=0)｜嵐jlu｜2025-10-09｜后端开发 · 校招流程复盘

- [MSRA Intern面经](https://www.nowcoder.com/discuss/353156718697848832)｜dogfar｜2020-08-08｜研究院实习 · 系统问题历史样本

## 关联阅读

- [RAG：从资料到有依据的回答](https://cv.shujinxing777.com/career/handbook/rag)

- [Agent、工作流与工具调用](https://cv.shujinxing777.com/career/handbook/agents)

- [评测：让“效果好”有明确含义](https://cv.shujinxing777.com/career/handbook/evaluation)

- [读懂 JD：条件、职责与技术词](https://cv.shujinxing777.com/career/handbook/read-jd)