一上午面了6个AI大模型开发,全是半吊子
上午连续面了6位AI应用开发,简历都很漂亮:RAG、Agent、微调、LangGraph、向量数据库、Prompt优化,热门技术一个没落。
可项目往下追两层,基本都卡住了。
1️⃣ 工具会接,但不会处理异常
我问:模型调用工单接口时返回超时,代码应该怎么处理?
多数人回答:“捕获异常后重试。”
但超时不代表工单没有创建,直接重试可能产生重复数据。真正做过线上项目的人,会先考虑请求ID、接口幂等、状态查询、重试上限和人工确认。
再问模型返回的JSON缺字段、参数类型错误怎么办?有人说重新调用一次模型,却没提Schema校验、字段修复和降级流程。
能调通SDK只是起点,能保证工具安全执行才算落地。
2️⃣ RAG流程背得熟,排错完全没思路
所有人都能讲出文档解析、切块、Embedding、向量检索、拼接上下文和模型生成。
我给了个场景:知识库有正确答案,但系统总召回旧版本文档,第一步查哪里?
有人直接改Prompt,有人调大Top-K,还有人说换更强的模型。
合理的排查应该先看文档版本、元数据过滤、切块完整性和索引更新,再检查查询改写、混合检索与Rerank。
RAG真正难的不是搭起来,而是知道质量在哪一层损失了。
3️⃣ Prompt优化只会增加角色设定
我问长上下文中,模型总忽略中间关键信息怎么办?
多数回答是:“强调一下重点”“告诉模型认真阅读”。
实际项目里,需要重新组织上下文:把任务目标、约束条件、检索资料和输出格式分区;关键信息放在更容易被关注的位置;必要时做摘要压缩,并用固定评估集验证效果。
Prompt不是凭感觉反复改文案,而是一个需要测试和回归的工程模块。
4️⃣ 完全没考虑模型的不确定性
模型限流怎么办?输出敏感内容如何拦截?任务执行到一半失败,重新开始还是断点恢复?Token突然上涨,怎么定位是哪一个节点造成的?
可靠方案至少要包含指数退避、缓存、限流熔断、流式输出、内容审核、日志追踪和Bad Case闭环。
不能每次出问题都归结为“模型能力不行”。
5️⃣ 微调只会跑开源脚本
简历写着做过LoRA微调,一问为什么用LoRA、训练数据怎么清洗、秩参数怎么选择、过拟合如何判断,就开始含糊。
真正跑过训练的人,会关注训练集分布、验证集表现、损失变化和灾难性遗忘,而不是只展示一张训练完成的截图。
准备大模型开发面试,建议重新拆解自己的项目:数据怎么处理、检索如何优化、Prompt如何验证、工具失败怎么恢复、延迟和成本怎么控制。
我这行的AI路 大模型 AI大模型开发 AI
