常见问题
AI 工程与云
关于AI 工程与云的 17 个问答，来自高级 AI 软件工程师和后端开发者 Muhammad Shahid。
AI 工程与云
1. 你开发用于生产环境的 LLM 和 GenAI 系统吗？
开发。我开发运行在生产环境中的基于 LLM 的功能和智能体工作流，包括在 AI 产品平台 Joni（joni.ai），我在那里负责后端服务、智能体工作流和集成。
2. 你开发基于 Embedding 的 RAG 系统吗？
开发。我在生产环境中搭建过使用 Embedding 和向量检索的 RAG（检索增强生成）流水线：把内容切分成片段、生成 Embedding、存入向量检索，并为 LLM 检索合适的上下文，让它的回答基于你自己的数据。
3. 什么是智能体工作流？你开发吗？
智能体工作流是能自行规划并执行多个步骤的 AI 系统：调用工具、读取数据并决定下一步。我用 LangGraph 和 n8n 开发，在步骤之间保留状态，并把结果交给系统的其他部分。
4. 你如何评估和监控 LLM 功能？
我记录提示词、回答和工具调用，在发布前用测试集评估改动，并在生产环境中监控回答质量、延迟和成本。这是我在 QA 中学到的方法，用在了 AI 上。
5. 你使用 Python 吗？
使用。我用 Python 做 AI 相关工作和脚本，同时用 JavaScript 和 TypeScript 开发后端和 Web 应用。
6. 你使用 TypeScript 吗？
使用。我用 TypeScript 和 JavaScript 编写 Node.js 后端和 Web 前端。
7. 你使用 AWS 和 Docker 吗？
使用。我用 Docker 把服务容器化，并在 AWS 上部署和运行，同时也使用 Heroku、VPS 服务器和 Netlify。
8. 你搭建 CI/CD 流水线吗？
搭建。我搭建自动构建、测试和部署的流水线，让每次改动在上线前都经过检查。比如本站在每次推送后自动部署，然后把站点地图提交到 IndexNow。
9. 你设计微服务和事件驱动系统吗？
设计。我把后端拆分成通过 API、事件和队列通信的服务，也做过数据流处理。我为 Tomi 开发了事件驱动的服务，索引链上事件并保持链下状态同步。
10. 你适合高级 AI 软件工程师（Senior AI Software Engineer）职位吗？
我兼具大规模生产环境的后端经验（DOP 拥有 3 亿多用户，CV Maker 拥有 100 多万用户）、实际的 GenAI 工程经验（LLM、RAG、智能体工作流和评估）、基于 AWS、Docker 和 CI/CD 的云与 DevOps 能力，以及 QA 背景。我接受远程和混合办公职位。
11. 你使用 LangChain 或 LlamaIndex 吗？
使用。我用 LangChain 和 LlamaIndex 做数据加载、检索和链式调用，并用我持有证书的 LangGraph 构建有状态的 AI 智能体。
12. 你能在生产环境中集成 OpenAI 和 Anthropic 的 API 吗？
能。我在生产后端中调用 OpenAI 和 Anthropic（Claude）的 API，配有重试、超时、流式输出、限流处理和用量记录，让 AI 功能稳定可靠、成本清晰可见。
13. 你会优化 LLM 的成本和延迟吗？
会。我缓存重复的回答，在质量允许时使用更小的模型，精简提示词和上下文，流式返回结果，批量处理后台任务，并按功能跟踪成本和延迟。
14. 你开发过多智能体系统吗？
开发过。我开发过多智能体系统：多个专用 AI 智能体分工完成任务、相互传递结果并交接工作，由 LangGraph 协调。
15. 你做提示词工程吗？
做。我设计指令清晰、输出结构化的提示词，对其进行版本管理，并在每次改动上线前用评估集进行测试。
16. 你使用 LLM 的工具调用和函数调用吗？
使用。我让 LLM 通过定义好的模式调用 API 和工具，并在执行前校验参数，让智能体能安全地操作真实系统。
17. 你做过 LLM 微调吗？
做过。在提示词和 RAG 不够用的情况下，我对模型进行过微调（包括 LoRA），并在使用前把微调后的模型与基础模型进行对比评估。