在实际项目中AI应用开发已经从少数专家的领域转变为众多开发者需要掌握的核心技能。无论是希望将大模型能力集成到现有业务系统还是从零构建一个智能体AI Agent开发者都面临着一系列挑战如何选择合适的技术栈如何搭建稳定高效的开发环境如何理解并应用复杂的AI开发框架以及如何在生产环境中确保应用的可靠性和性能。本文旨在为有一定编程基础希望系统学习AI应用开发的工程师提供一条清晰的实践路径。我们将从最基础的环境搭建开始逐步深入到核心概念、工具链使用、项目实战以及生产部署目标是让你能够独立完成一个具备实用价值的AI应用并理解其背后的工程化考量。1. 理解AI应用开发的核心概念与技术栈在动手写代码之前理清AI应用开发与传统软件开发的区别至关重要。这决定了你的学习重点和项目架构设计。1.1 AI应用开发与传统软件开发的差异传统软件开发的核心是确定性的业务逻辑和数据处理流程。而AI应用开发特别是基于大语言模型LLM的应用其核心是处理非确定性的输入和输出。一个简单的“用户提问 - 系统回答”流程背后涉及模型选择、提示词工程、上下文管理、流式输出、错误处理等多个环节。确定性 vs 非确定性传统代码if-else的结果是可预测的而LLM对同一提示词Prompt的多次调用可能产生不同的输出需要设计重试、验证和降级逻辑。状态管理AI应用常需要维护“对话历史”或“上下文窗口”这引入了新的状态管理挑战不同于传统的会话Session管理。开发范式从“编写算法”转向“设计提示词”和“编排工作流”。开发者更像是一个“导演”通过精心设计的指令和工具调用引导模型完成复杂任务。1.2 现代AI应用的技术分层一个完整的AI应用通常包含以下层次模型层提供核心智能能力的底层模型如 OpenAI 的 GPT 系列、Anthropic 的 Claude、Meta 的 Llama 系列或国内的通义千问、文心一言等。可以是云端API调用也可以是本地部署的模型。框架/编排层用于连接模型、工具、记忆和外部数据的开发框架。这是当前AI应用开发的核心工具例如LangChain功能最全、生态最丰富的框架提供了链Chain、代理Agent、检索增强生成RAG等高级抽象。LlamaIndex专注于数据连接和RAG场景擅长将私有数据与LLM结合。Semantic Kernel微软推出的框架强调与现有代码和服务的集成。Dify、FastGPT等更偏向于低代码/可视化应用构建平台。工具与集成层AI应用需要与现实世界交互这通过“工具”Tools实现。例如调用搜索引擎API、执行数据库查询、发送邮件、操作文件系统等。框架层负责将工具能力“暴露”给模型。应用层最终的用户界面可以是Web应用、聊天机器人、API服务、命令行工具或集成到现有软件中的插件。基础设施层支撑应用运行的环境包括向量数据库用于存储和检索嵌入向量、缓存、监控、日志、部署平台等。对于初学者建议从LangChain或LlamaIndex入手因为它们社区活跃、文档丰富、案例众多能让你快速理解AI应用的构建模式。1.3 关键概念解析Agent、Chain、RAG与Function Calling链Chain将多个LLM调用或其他操作如API调用、数据转换按顺序组合起来形成一个固定的工作流程。例如“总结网页内容 - 提取关键词 - 生成报告”可以是一个链。代理Agent一个更高级的抽象它让LLM具备使用工具的能力。你给代理一个目标如“查询北京的天气并告诉我该穿什么”代理会自主规划步骤思考、选择工具如搜索天气API、执行动作并根据结果决定下一步直到完成任务。Agent是构建复杂、自主AI应用的核心。检索增强生成RAG解决LLM知识截止和幻觉问题的关键技术。其原理是将外部知识库如文档、手册处理成向量并存入向量数据库当用户提问时先从向量库中检索出最相关的文档片段然后将这些片段作为上下文连同用户问题一起提交给LLM生成答案。这使模型能够回答其训练数据之外的问题。函数调用Function CallingLLM本身不能直接执行代码但可以“理解”你定义的函数工具的描述名称、参数、说明。当用户请求涉及这些功能时LLM会输出一个结构化的调用请求你的程序再据此真正执行函数并返回结果。这是实现Agent和工具集成的底层机制。理解这些概念是后续实践的基础。接下来我们将从零开始搭建一个能够支撑上述技术栈的本地开发环境。2. 搭建高效的AI应用开发环境一个稳定、隔离且工具齐全的开发环境是高效学习的前提。我们将使用 Conda 管理Python环境并安装核心的开发工具。2.1 基础环境准备Python与包管理工具AI开发强烈依赖Python生态。为了避免版本冲突务必使用虚拟环境。方案一使用 Miniconda推荐Miniconda 是一个轻量级的 Conda 发行版可以方便地创建和管理独立的Python环境。下载与安装访问 Miniconda 官网根据你的操作系统Windows/macOS/Linux下载对应的安装包。Windows用户运行.exe安装程序安装时建议勾选“Add Miniconda3 to my PATH environment variable”将Conda加入系统PATH以便在任意终端使用。macOS/Linux用户下载后在终端中运行bash Miniconda3-latest-系统架构.sh进行安装。验证安装打开新的终端Windows 可用 Anaconda Prompt 或系统终端运行以下命令conda --version python --version如果都能正确显示版本号说明安装成功。创建专用于AI开发的虚拟环境# 创建一个名为 ai-devPython版本为3.10的环境3.9-3.11皆可确保与后续包兼容 conda create -n ai-dev python3.10 # 激活环境 conda activate ai-dev激活后终端的命令行提示符前会出现(ai-dev)表示你已进入该虚拟环境。方案二使用 venvPython原生如果你已安装Python3.8也可以使用内置的venv模块。# 在项目目录下创建虚拟环境 python -m venv venv # 激活环境 # Windows: venv\Scripts\activate # macOS/Linux: source venv/bin/activate2.2 核心开发工具安装IDE与版本控制代码编辑器/IDEVisual Studio Code (VSCode)是当前AI开发的首选拥有丰富的Python和AI相关插件如Python、Pylance、Jupyter、GitLens。PyCharm 专业版也是一个强大的选择对科学计算和Web开发支持良好。根据你的喜好安装其一即可。版本控制Git是必备工具。从官网下载并安装。安装后需要进行基础配置git config --global user.name Your Name git config --global user.email your.emailexample.com推荐使用GitHub Desktop或 VSCode 内置的Git功能进行图形化操作这对初学者更友好。2.3 关键Python库安装激活你的虚拟环境conda activate ai-dev或对应的激活命令然后安装以下核心库。我们将使用pip进行安装并指定一些常用版本以确保兼容性。# 升级pip到最新版 pip install --upgrade pip # 1. AI框架与核心库 pip install langchain0.1.0 # LangChain核心库 pip install langchain-community0.0.10 # 社区贡献的集成和工具 # 注意LangChain版本迭代快以上版本为示例安装前请查阅官方文档确认最新稳定版 # 2. 大模型接口库以OpenAI为例如果你使用其他模型需安装对应SDK pip install openai1.3.0 # 3. 环境变量管理用于安全存储API密钥 pip install python-dotenv1.0.0 # 4. 向量数据库客户端以Chroma为例轻量级适合学习和开发 pip install chromadb0.4.18 # 5. 文本嵌入模型用于RAG将文本转换为向量 pip install sentence-transformers2.2.2 # 6. Web应用框架用于构建简单的演示界面 pip install streamlit1.28.0 # 或者使用FastAPI构建API服务 # pip install fastapi0.104.1 uvicorn0.24.0 # 7. Jupyter Notebook用于交互式开发和实验 pip install jupyter1.0.0安装完成后可以通过pip list命令查看已安装的包及其版本。2.4 获取并配置API密钥大多数AI应用开发初期会使用云服务商提供的模型API如OpenAI、Anthropic、国内各大厂。你需要注册相应平台并获取API密钥。重要永远不要将API密钥硬编码在代码中或提交到版本控制系统如GitHub。获取密钥以OpenAI为例登录平台在API Keys页面创建新的密钥并复制。本地配置在项目根目录创建名为.env的文件。# .env 文件内容示例 OPENAI_API_KEYsk-your-actual-api-key-here # 如果你使用其他服务如通义千问、文心一言等也在这里配置 # DASHSCOPE_API_KEYyour-dashscope-key代码中读取在Python代码开头使用python-dotenv加载环境变量。import os from dotenv import load_dotenv load_dotenv() # 加载 .env 文件中的变量到环境变量 openai_api_key os.getenv(OPENAI_API_KEY) if not openai_api_key: raise ValueError(请在 .env 文件中设置 OPENAI_API_KEY)至此你的基础开发环境已经就绪。接下来我们将通过一个具体的项目串联起从简单调用到复杂Agent的完整流程。3. 实战从零构建一个智能文档问答助手我们将构建一个基于RAG的智能文档问答助手。它的功能是允许用户上传PDF或TXT文档然后针对文档内容进行提问并获得答案。这个项目将涵盖环境配置、文档加载、文本分割、向量化存储、检索和生成回答的全流程。3.1 项目初始化与结构首先创建一个清晰的项目目录结构。mkdir ai-doc-qa-assistant cd ai-doc-qa-assistant # 创建虚拟环境如果之前没做 python -m venv venv # 激活环境... # 安装依赖如上一节所述... # 创建项目文件 touch .env # 环境变量 touch .gitignore # Git忽略文件 touch requirements.txt # 依赖列表可选便于复现 touch app.py # 主应用文件使用Streamlit touch core/__init__.py # 核心逻辑包 touch core/document_processor.py # 文档处理模块 touch core/qa_chain.py # 问答链模块.gitignore文件内容至少应包括venv/ .env __pycache__/ *.py[cod] *$py.class .DS_Store chroma_db/ # 向量数据库存储目录将之前安装的依赖写入requirements.txt可以使用pip freeze requirements.txt生成但建议手动维护主要依赖。3.2 核心模块一文档处理与向量化core/document_processor.py负责将用户上传的文档转换成向量并存储到向量数据库。# core/document_processor.py import os from typing import List from langchain_community.document_loaders import PyPDFLoader, TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import Chroma class DocumentProcessor: def __init__(self, persist_directory: str ./chroma_db): 初始化文档处理器。 :param persist_directory: 向量数据库持久化目录 # 1. 初始化文本分割器 # chunk_size: 每个文本块的最大字符数 # chunk_overlap: 块之间的重叠字符数保持上下文连贯 self.text_splitter RecursiveCharacterTextSplitter( chunk_size1000, chunk_overlap200, length_functionlen, separators[\n\n, \n, 。, , , , , , ] ) # 2. 初始化嵌入模型使用本地模型无需API密钥 # 这里使用 sentence-transformers 的 all-MiniLM-L6-v2 模型它是一个轻量且效果不错的模型 self.embeddings HuggingFaceEmbeddings( model_namesentence-transformers/all-MiniLM-L6-v2, model_kwargs{device: cpu}, # 如果GPU可用可改为 cuda encode_kwargs{normalize_embeddings: False} ) # 3. 初始化向量数据库Chroma self.persist_directory persist_directory self.vectorstore None def load_and_split_documents(self, file_path: str) - List: 根据文件类型加载文档并分割成块。 :param file_path: 上传文件的路径 :return: 文档块列表 if file_path.endswith(.pdf): loader PyPDFLoader(file_path) elif file_path.endswith(.txt): loader TextLoader(file_path, encodingutf-8) else: raise ValueError(f不支持的文件格式: {file_path}。目前支持 PDF 和 TXT。) documents loader.load() # 进行文本分割 chunks self.text_splitter.split_documents(documents) print(f已将文档分割成 {len(chunks)} 个块。) return chunks def create_vectorstore(self, chunks: List, collection_name: str doc_qa_collection): 从文档块创建向量存储。 :param chunks: 文档块列表 :param collection_name: Chroma集合名称 # 将文本块转换为向量并存入Chroma self.vectorstore Chroma.from_documents( documentschunks, embeddingself.embeddings, persist_directoryself.persist_directory, collection_namecollection_name ) # 持久化到磁盘 self.vectorstore.persist() print(f向量数据库已创建并保存至 {self.persist_directory}) def get_retriever(self, search_kwargs: dict {k: 4}): 获取检索器用于后续的问答链。 :param search_kwargs: 检索参数k表示返回最相关的k个结果 :return: 检索器对象 if self.vectorstore is None: # 如果之前已经持久化过可以加载现有的向量库 self.vectorstore Chroma( persist_directoryself.persist_directory, embedding_functionself.embeddings ) # 将向量库转换为检索器 return self.vectorstore.as_retriever(search_kwargssearch_kwargs)关键点解释文本分割大模型有上下文长度限制不能将整本书直接输入。RecursiveCharacterTextSplitter会按字符递归分割尽量保持语义段落完整。chunk_overlap可以避免在句子中间切断重要信息。嵌入模型我们使用了本地的all-MiniLM-L6-v2模型生成文本向量它平衡了速度与质量且无需网络调用。在生产环境中对于高精度要求可以考虑更大的模型或商用嵌入API如OpenAI的text-embedding-ada-002。向量数据库Chroma 是一个轻量级、可持久化的向量数据库非常适合开发和原型阶段。生产环境可能会选择Weaviate、Pinecone或Qdrant等具备更强大功能的数据库。检索器检索器是LangChain中用于从向量库中查找相关文档的组件。search_kwargs{k: 4}表示每次检索返回最相关的4个文档块。3.3 核心模块二构建问答链core/qa_chain.py负责组合检索器和LLM构建一个完整的“检索-生成”问答流程。# core/qa_chain.py import os from langchain.chains import RetrievalQA from langchain_openai import ChatOpenAI from langchain.prompts import PromptTemplate from dotenv import load_dotenv # 加载环境变量获取API密钥 load_dotenv() class QABot: def __init__(self, retriever, model_name: str gpt-3.5-turbo): 初始化问答机器人。 :param retriever: 文档检索器 :param model_name: 使用的LLM模型名称 # 1. 初始化大语言模型 # 确保你的 .env 文件中有 OPENAI_API_KEY self.llm ChatOpenAI( modelmodel_name, temperature0.1, # 温度参数越低输出越确定越高越有创造性 openai_api_keyos.getenv(OPENAI_API_KEY) ) # 2. 构建一个自定义提示模板 # 这个模板告诉模型如何利用检索到的上下文来回答问题 prompt_template 请根据以下上下文信息来回答问题。如果你不知道答案就诚实地回答不知道不要编造信息。 上下文 {context} 问题{question} 请根据上下文给出答案 PROMPT PromptTemplate( templateprompt_template, input_variables[context, question] ) # 3. 构建检索问答链 # chain_type 可以是 stuff将所有上下文塞进提示词、map_reduce先分别总结再汇总、refine迭代精炼等。 # stuff 最简单但受限于模型上下文长度。 self.qa_chain RetrievalQA.from_chain_type( llmself.llm, chain_typestuff, retrieverretriever, chain_type_kwargs{prompt: PROMPT}, return_source_documentsTrue # 返回源文档便于追溯 ) def ask(self, question: str): 向机器人提问。 :param question: 用户问题 :return: 答案和源文档 result self.qa_chain.invoke({query: question}) return { answer: result[result], source_documents: result.get(source_documents, []) }关键点解释LLM初始化ChatOpenAI是LangChain对OpenAI聊天模型的封装。temperature参数控制输出的随机性对于问答类任务通常设置较低如0.1以获得更确定、更准确的答案。提示词工程我们构建了一个简单的提示词模板明确要求模型“根据上下文回答”并设置了“不知道就承认”的指令这是减少模型“幻觉”的有效手段。链类型chain_typestuff是最直接的方式它将所有检索到的上下文文档拼接后一次性发送给模型。如果文档总长度超过模型限制则需要使用map_reduce或refine等更复杂但能处理长文本的链类型。3.4 构建Web交互界面使用Streamlit可以快速构建一个交互式Web应用。创建app.py作为应用入口。# app.py import streamlit as st import tempfile import os from core.document_processor import DocumentProcessor from core.qa_chain import QABot # 设置页面标题 st.set_page_config(page_title智能文档问答助手, page_icon) st.title( 智能文档问答助手) st.markdown(上传你的文档PDF/TXT然后就可以针对文档内容提问了。) # 初始化session state用于在页面重载间保持状态 if vectorstore_created not in st.session_state: st.session_state.vectorstore_created False if qa_bot not in st.session_state: st.session_state.qa_bot None # 侧边栏文档上传与处理 with st.sidebar: st.header(1. 上传文档) uploaded_file st.file_uploader(选择一个文件, type[pdf, txt]) if uploaded_file is not None: # 将上传的文件保存到临时位置 with tempfile.NamedTemporaryFile(deleteFalse, suffixos.path.splitext(uploaded_file.name)[1]) as tmp_file: tmp_file.write(uploaded_file.getvalue()) tmp_file_path tmp_file.name st.success(f已上传: {uploaded_file.name}) # 处理文档按钮 if st.button(处理文档并构建知识库): with st.spinner(正在处理文档请稍候...): try: # 初始化处理器 processor DocumentProcessor() # 加载并分割文档 chunks processor.load_and_split_documents(tmp_file_path) # 创建向量存储 processor.create_vectorstore(chunks) # 获取检索器 retriever processor.get_retriever() # 初始化问答机器人 st.session_state.qa_bot QABot(retriever) st.session_state.vectorstore_created True st.success(文档处理完成知识库已就绪现在可以提问了。) except Exception as e: st.error(f处理文档时出错: {e}) finally: # 清理临时文件 os.unlink(tmp_file_path) st.divider() st.caption(提示首次使用需要上传并处理文档。处理完成后即可在右侧问答区提问。) # 主区域问答交互 st.header(2. 问答区) if not st.session_state.vectorstore_created: st.info(请先在左侧上传并处理文档。) else: # 问题输入框 question st.text_input(请输入你的问题, placeholder例如本文档的主要观点是什么) if question: if st.button(提交问题): with st.spinner(正在思考...): try: result st.session_state.qa_bot.ask(question) # 显示答案 st.subheader(答案) st.write(result[answer]) # 显示参考来源可选 with st.expander(查看答案来源): if result[source_documents]: for i, doc in enumerate(result[source_documents]): st.markdown(f**来源 {i1}:**) st.caption(doc.page_content[:500] ...) # 只显示前500字符 else: st.write(未找到明确的来源文档。) except Exception as e: st.error(f回答问题出错: {e})3.5 运行与验证启动应用在项目根目录下确保虚拟环境已激活运行streamlit run app.py访问界面Streamlit 会自动在浏览器中打开应用通常是http://localhost:8501。完整流程测试在左侧边栏上传一个PDF或TXT文件可以是一篇技术文章、一份报告。点击“处理文档并构建知识库”按钮。观察终端和Web界面的日志等待处理完成。处理完成后在右侧主区域输入问题例如“这篇文章讲了什么”或更具体的问题。查看返回的答案并展开“查看答案来源”确认答案是否基于你上传的文档。至此你已经成功构建了一个具备核心RAG能力的AI应用。它虽然简单但涵盖了从文档处理、向量化、检索到智能生成的核心链路。接下来我们将探讨如何将这个原型变得更强健并应对实际开发中会遇到的各种问题。4. 进阶打造更健壮、更智能的AI应用基础版本跑通后我们需要从工程化和功能增强两个维度进行优化使其更接近生产可用状态。4.1 工程化改进配置、日志与错误处理1. 集中化管理配置将配置项如模型名称、温度、块大小、向量数据库路径等从代码中抽离使用配置文件如config.yaml或环境变量管理。# config.yaml model: name: gpt-3.5-turbo temperature: 0.1 api_key_env: OPENAI_API_KEY embedding: model_name: sentence-transformers/all-MiniLM-L6-v2 device: cpu text_splitter: chunk_size: 1000 chunk_overlap: 200 vectorstore: persist_directory: ./chroma_db collection_name: doc_qa_collection search_kwargs: k: 4在代码中使用yaml库加载配置。2. 添加结构化日志使用Python的logging模块替代print便于记录不同级别的信息DEBUG, INFO, WARNING, ERROR并输出到文件或监控系统。import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s) logger logging.getLogger(__name__) logger.info(开始处理文档...)3. 增强错误处理与重试网络请求和模型调用可能失败需要添加重试机制和友好的错误提示。from tenacity import retry, stop_after_attempt, wait_exponential retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def ask_with_retry(qa_bot, question): return qa_bot.ask(question) # 在调用时使用这个包装函数4.2 功能增强从RAG到智能体Agent我们的基础应用是一个被动的问答系统。我们可以将其升级为一个能主动使用工具的智能体。场景用户问“总结一下这篇文档并把核心要点发到我的邮箱”。这需要智能体先调用文档总结工具再调用邮件发送工具。步骤定义工具我们需要两个工具函数并用LangChain的tool装饰器或StructuredTool包装它们使其能被Agent理解。from langchain.tools import tool tool def summarize_document(document_path: str) - str: 根据文档路径总结文档内容。 # 调用之前的文档处理和总结逻辑 processor DocumentProcessor() chunks processor.load_and_split_documents(document_path) # 简单地将前几块拼接作为总结实际应用需要更复杂的总结逻辑或调用LLM summary \n.join([chunk.page_content[:200] for chunk in chunks[:3]]) return f文档摘要{summary} tool def send_email(to_address: str, subject: str, body: str) - str: 发送邮件到指定地址。 # 这里实现真实的邮件发送逻辑如使用smtplib # 为示例仅返回模拟信息 return f已成功发送主题为{subject}的邮件到 {to_address}。创建工具列表tools [summarize_document, send_email]初始化Agent使用LangChain的create_react_agent或initialize_agent。from langchain.agents import AgentExecutor, create_react_agent from langchain.prompts import PromptTemplate # 需要为Agent设计一个提示词告诉它有哪些工具以及如何使用 agent_prompt PromptTemplate.from_template( 你是一个有帮助的助手可以使用以下工具 {tools} 使用以下格式 问题用户提出的问题 思考你需要思考如何一步步解决问题 行动要使用的工具名称必须是[{tool_names}]中的一个 行动输入工具的输入 观察工具返回的结果 ... (这个思考/行动/观察循环可以重复多次) 最终答案当你认为已经解决了用户的问题时给出最终答案 开始 问题{input} {agent_scratchpad} ) llm ChatOpenAI(modelgpt-3.5-turbo, temperature0) agent create_react_agent(llm, tools, agent_prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue, handle_parsing_errorsTrue)运行Agentresult agent_executor.invoke({input: 总结./my_doc.pdf并发送到testexample.com})通过引入Agent你的应用从“问答机”变成了能自主规划并执行多步任务的“智能助手”。这是AI应用开发能力的一次重要飞跃。4.3 性能与成本优化缓存对频繁相同的查询结果进行缓存可以使用langchain.cache如InMemoryCache,SQLiteCache或外部缓存如Redis。异步处理对于耗时的文档处理或批量问答使用异步框架如asyncio避免阻塞主线程提升Web应用的响应速度。模型选型在保证效果的前提下选择更经济或更快的模型。例如对于简单的分类任务可能不需要GPT-4GPT-3.5-Turbo甚至更小的开源模型就足够了。可以设计一个路由逻辑根据问题复杂度选择模型。提示词优化精心设计的提示词能显著提升效果并减少不必要的token消耗。避免在提示词中放入无关信息。5. 常见问题排查与生产环境考量在开发和部署过程中你一定会遇到各种问题。以下是一些典型问题的排查思路和生产环境建议。5.1 开发阶段常见问题问题现象可能原因检查与解决步骤导入LangChain模块失败1. 未安装对应包。2. 包版本冲突。3. 虚拟环境未激活。1. 使用pip list | grep langchain检查安装。2. 确认安装的是langchain和langchain-community。3. 使用conda activate或source venv/bin/activate激活环境。OpenAI API调用报错如认证失败1. API密钥未设置或错误。2. 网络问题如代理。3. 账户余额不足或请求超频。1. 检查.env文件是否存在变量名是否正确并在代码中打印os.getenv(“OPENAI_API_KEY”)的前几位验证。2. 检查网络连接必要时配置正确的HTTP代理注意需合规使用网络服务。3. 登录OpenAI平台检查用量和余额。处理文档时内存不足或速度慢1. 文档过大。2. 嵌入模型在CPU上运行。1. 尝试减小chunk_size。2. 如果有GPU将嵌入模型设置为model_kwargs{device: cuda}。3. 对于超大文档考虑使用map_reduce链类型。问答答案质量差或“幻觉”1. 检索到的上下文不相关。2. 提示词设计不佳。3. 模型温度参数过高。1. 检查向量检索结果打印retriever.get_relevant_documents(question)看是否相关。2. 优化提示词明确要求“基于上下文”。3. 降低temperature如设为0。4. 增加检索数量k。Streamlit应用运行后无反应或报错1. 端口冲突。2. 代码语法错误。3. 依赖缺失。1. 检查终端是否有错误日志。2. 尝试指定端口运行streamlit run app.py --server.port 8502。3. 确保所有依赖已在当前虚拟环境中安装。5.2 生产环境部署建议将学习原型转化为生产服务需要额外考虑以下方面安全API密钥管理使用专业的密钥管理服务如AWS Secrets Manager, HashiCorp Vault或云平台提供的托管服务切勿写在代码或配置文件中。输入输出过滤对用户输入进行严格的清洗和过滤防止提示词注入攻击。对模型输出也要进行内容安全审核。访问控制为你的AI服务API添加认证和授权如API Key, JWT。可观测性日志聚合使用如ELK Stack、Loki等工具收集和分析应用日志、模型调用日志。指标监控监控关键指标如请求延迟、Token消耗、错误率、向量检索耗时等。可以使用Prometheus和Grafana。链路追踪对于复杂的Agent调用链使用OpenTelemetry等工具进行分布式追踪了解每个工具调用和LLM调用的性能。可靠性服务化与容器化将应用封装为Docker容器使用Kubernetes或云托管服务进行部署和管理实现高可用和弹性伸缩。数据库选型评估Chroma是否满足生产需求。对于高并发、大数据量场景考虑迁移到云原生的向量数据库如Pinecone, Weaviate, Qdrant。降级与熔断当LLM API或关键工具服务不可用时应有降级方案如返回缓存结果、静态应答和熔断机制避免级联故障。成本与性能用量分析与优化详细记录每次调用的模型、Token数分析成本构成。优化提示词、缓存常见回答、使用更小模型处理简单任务以降低成本。异步与批处理将非实时任务如文档预处理放入消息队列异步处理。对于批量问答请求可以考虑批处理调用API如果支持。从学习到生产AI应用开发是一个持续迭代和优化的过程。核心在于理解数据流文档-向量-检索-提示词-模型-答案和控制流链与Agent的编排并在此基础上不断加固工程的各个层面。