0

AI大模型应用开发实战训练营-第21期

hgftyt
1月前 7


好课领取:xingkeit.top/17438/


一、先搞懂一件事:你到底在开发什么?

很多人以为"AI应用开发"就是调用大模型API。

不是。

你真正在做的是:用Prompt工程控制模型行为,用RAG系统补全模型知识,用工程手段保证输出稳定可靠

三者的关系:

层级解决什么问题核心技术
Prompt工程让模型"听懂"你要什么指令设计、Few-shot、CoT
RAG系统让模型"知道"它不知道的向量检索、文档切片、重排序
工程化落地让系统"稳定"地跑起来评估体系、异常处理、成本控制

先建立这个认知框架,后面所有操作才有方向。


二、Prompt工程:不是"写句话",是"写程序"

2.1 基础三板斧

技巧做法适用场景
角色设定"你是一个资深Python后端工程师"需要专业领域输出
Few-shot示例给2-3个输入输出示例格式固定、风格统一的任务
思维链(CoT)"请一步步思考"逻辑推理、多步计算

2.2 进阶:结构化Prompt模板

别再写一段话丢给模型了。用模板:

1# Role2你是一个企业知识库问答助手,只基于提供的上下文回答。34# Context5{retrieved_documents}67# Instruction81. 仅使用Context中的信息回答92. 如果Context中没有答案,直接说"知识库中未找到相关信息"103. 回答控制在100字以内1112# User Question13{user_query}14

关键原则:约束越明确,输出越可控。

2.3 常见错误

错误后果修正
Prompt太模糊模型自由发挥,输出不可控加约束、加示例、加格式要求
上下文太长模型"遗忘"中间内容精简上下文,关键信息前置
没有负面约束模型编造信息明确说"不知道就说不知道"

三、RAG系统:从"能用"到"好用"的全流程

3.1 RAG是什么?(一句话版)

把你的私有文档变成模型能检索的知识库,让模型回答时"先查资料,再作答"。

3.2 核心流程(六步走)

1文档上传 → 文本切片 → 向量化 → 存入向量库 → 用户提问 → 检索+生成2
步骤关键决策常见坑
文档解析PDF用PyMuPDF,Word用python-docx表格、图片内容会丢失
文本切片推荐200-500 token/块,重叠50-100 token切太碎丢失语义,切太大检索不准
向量化OpenAI text-embedding-3-small / BGE-M3 / Jina中文场景优先选BGE或Jina
向量库FAISS(轻量)/ Milvus(生产级)/ Chroma(快速原型)别用SQL代替向量检索
检索策略先用向量检索Top-K,再用重排序(Rerank)精排单纯向量检索精度有限
生成回答把检索结果塞进Prompt的Context部分Context别超过模型上下文窗口的70%

3.3 一个最小可运行的RAG代码框架(Python)

python1from langchain.document_loaders import PyPDFLoader2from langchain.text_splitter import RecursiveCharacterTextSplitter3from langchain.embeddings import OpenAIEmbeddings4from langchain.vectorstores import FAISS5from langchain.chains import RetrievalQA6from langchain.llms import OpenAI78# 1. 加载文档9docs = PyPDFLoader("knowledge_base.pdf").load()1011# 2. 切片12splitter = RecursiveCharacterTextSplitter(chunk_size=400, chunk_overlap=50)13chunks = splitter.split_documents(docs)1415# 3. 向量化 + 存储16vectorstore = FAISS.from_documents(chunks, OpenAIEmbeddings())1718# 4. 构建RAG链19qa_chain = RetrievalQA.from_chain_type(20    llm=OpenAI(model="gpt-4o-mini"),21    retriever=vectorstore.as_retriever(search_kwargs={"k": 4}),22    return_source_documents=True23)2425# 5. 提问26result = qa_chain.run("公司年假政策是什么?")27print(result)28

20行代码,一个基础RAG系统就跑起来了。 但"跑起来"和"跑得好"之间,还有很长的路。


四、评估:你怎么知道系统好不好?

别靠感觉。建立评估体系:

评估维度指标怎么测
检索质量Recall@K、MRR人工标注测试集,看检索结果是否包含正确答案
生成质量准确性、完整性、幻觉率用LLM-as-Judge自动评分,或人工抽检
用户体验响应时间、满意度埋点+用户反馈

铁律:没有评估的RAG系统,就是在裸奔。


五、写在最后

AI应用开发的本质不是"调参",而是系统工程

Prompt工程决定了模型能不能"听懂",RAG系统决定了模型能不能"答对",工程化手段决定了系统能不能"跑稳"。

三者缺一不可。

从今天开始,别再问"大模型能做什么"——去动手搭一个,答案就在调试日志里。



本站不存储任何实质资源,该帖为网盘用户发布的网盘链接介绍帖,本文内所有链接指向的云盘网盘资源,其版权归版权方所有!其实际管理权为帖子发布者所有,本站无法操作相关资源。如您认为本站任何介绍帖侵犯了您的合法版权,请发送邮件 [email protected] 进行投诉,我们将在确认本文链接指向的资源存在侵权后,立即删除相关介绍帖子!
最新回复 (0)

    暂无评论

请先登录后发表评论!

返回
请先登录后发表评论!