内容描述问题排查、性能优化 mysql 查询优化 死锁,高可用 高可靠 如何努力处理业务失败的 服务治理方案 第三方容错业务成功率提升到99%的数据一致性失败场景补偿任务1.至少要 一个缓存有关的、多份数据之间的一致性问题。2. 多步骤 保证一定成功 分布式事务ai 工程 agent prompt rag 上下文工程记忆准确性 稳定性优化prompt 拆分、换一种写法、rag 检索不够准确、提升召回准确率上下文工程 用更短的上下文 做出更好的效果 (压缩、过滤)ai coding项目介绍项目的核心难点这是公司的xx项目该项目的核心难点是xxxx总结自己的最突出的成绩。保证 高可用、高可靠自己成就突出支撑xxx活动。保证平台的高可用。强调实践经历实施服务治理实施落地分库分表不停机数据迁移组合模式https://blog.csdn.net/pop1586082213/article/details/114797883https://blog.csdn.net/qq_41675486/article/details/145112167uml 依赖https://blog.csdn.net/qq_45087487/article/details/134953881图标在被引用方继承 实现三角形 A继承B A ——————▷B实现 虚线三角形 接口 A实现B A -------▷B依赖 方法 局部变量、方法的参数或者对静态方法的调用A类的某个方法 xxx(B b) A ------ B关联 成员变量 一般是长期性的 全局变量 A 方法的成员变量BA——————B以下两个 图标在引用方聚合 集合 可以单独存在 空心菱形 A 成员变量里面的集合Listlll; A ——————B组合 不能单独存在 实心菱形A————————Bai大模型熟练掌握ai大模型相关技术栈掌握RAG检索和优化的技巧。有丰富的prompt优化经验初步的ai工程化落地经验。责任prompt 优化 使用a和b 等 prompt 撰写方法论优化prompt大模型输出更准确准确度提升20%。(怎么算出来的)参与构建rag 检索系统实现了RFF双路召回(KNNVector)召回准确率提升了n%.同时优化es查询性能响应时间减少到300ms内 。调用spring ai 完成文档切分。3. 优化planner的生成。 可选4. 实现简单的状态驱动/workflow 调度负责plan。问题 1. rag 检索rag 有哪些数据rag 只有1个index吗 检索流程是怎么样的 答1.调用大模型生成rag 检索的语句。 2.根据rag检索的语句调用es执行rff双路召回普通es查询knn向量检索 2.为什么用eses成熟度高生态好。 你是否了解别的向量检索数据库。比如说 图向量数据库。 2.1 数据哪来 数据集 A:预处理 怎么切割 用python切割的 优化切割参数调整每段长度 针对每一段写一个摘要。 b:向量有关问题 向量模型embedding哪个通义千问的 通用文本向量-V3 c:向量检索/召回效果评估? 500-1000token 2.2 怎么检索 怎么召回 至少双路召回。 a:查询改写怎么改? 准备个例子描述怎么改的 用户原始输入 帮我看看这篇作文写的怎么样xxx作文 检索 构造出 很多的查询 3prompt 优化 为什么要优化--prompt 太长s输出不稳定 背好 2个优化的方法论结合2个方法论整一个案例。 4.memory 工程 1. 短期记忆 放redis list 注意 bigkey 特别长的多轮对话 2. 长期记忆 1. 对话整体都保存下来包括中间结果。放到es 里面用于后续召回。 2. 对对话整体 进行摘要抽取关键信息提取用户特征。(让大模型提取) 3. 长期记忆 需要“遗忘” 记忆是会改变的 哪些记忆没用了 哪些记忆有 3. 用户个性化画像召回rff双路召回1.knn2. 向量检索rff 算法融合这两路得到最终排序取topnai 项目 一prompt 优化你怎么评估你的prompt 效果准备一个案例讲清楚。A/B 测试用户打分专家评测结果自己评估为啥要优化输出不稳定prompt 太长输出就是不够准确常见的优化手段 要准备好。rag 检索向量数据库 es/milvus建议用es。你的数据哪里来来源 保司提供的 条款文档。爬虫保司的数据。图片的多媒体数据怎么搞 就是提取图片中的转文字作为普通文档处理。数据预处理后 怎么切割按语义切分。按固定大小分块 策略 切分。调整长度。 300token 500token 1000token 推荐 500-1000token针对每一段 再写一个摘要。向量长度多少维度哪个embedding千问的 embedding -v4双路招回有一个具体的例子 描述召回的 各个步骤。召回rff双路召回1.knn2. 向量检索rff 算法融合这两路得到最终排序取topn查询改写怎么改?准备个例子描述怎么改的用户原始输入 “帮我看看这篇作文写的怎么样xxx作文”检索 构造出 很多的查询向量检索/召回 如何评估A/B 测试。自己看效果。memory 工程上下文不等于记忆从单Agent到多Agent协作记忆系统是关键这些外挂记忆如何更好的被检索呢检索出来的也会有很多无关信息或者说信息密度不高还是会把token撑爆。应该可以从两个方面来同时优化1、检索这是rag在记忆工程中发挥作用的地方单纯靠向量相似度确实容易召回很多噪音。可以引入rerank、父子索引、GraphRAG、agentic rag等等这些rag优化策略。2、存储在写入记忆的时候比如不把原话存储进去先进行信息抽取和摘要把高密度的结构化的数据存入记忆库之后检索出来的内容就会更简短且贴切。感觉具体用哪种组合还是需要在具体业务场景中去平衡成本和效果。短期记忆上下文窗口。 放redis长期记忆对话整体都保存下来包括中间结果。放到es 里面用于后续召回。对对话整体 进行摘要抽取关键信息提取用户特征。(让大模型提取)长期记忆 需要“遗忘” 记忆是会改变的 哪些记忆没用了 哪些记忆有用户个性化 画像对话细节的召回。跟用户有关会提取用户的特征。 大模型提取。ai 项目进阶版意图识别意图识别是怎么做的万能公式双层意图识别轻量级模型意图识别(miniflash)输出高置信度的意图 直接使用。低置信度 走重量级别的 意图识别节省成本、输出速度快重量级模型的意图识别输出高置信度的意图澄清、补充输入拒绝不合理的意图基于规则/字符串/正则表达式/关键字的意图识别 (纯代码)意图层次意图大分类制定 面试方案小分类 项目经历改写小小小分类 高并发改写意图识别的 prompt 怎么写我很多意图怎么办呢用户一次性要求做很多事情怎么办最简单方法 只识别第一件事情做完问用户要不要继续后续怎么衡量意图识别的效果top1你用同样的大模型输出的意图 就是你预期的意图 占用的比例。比如你准备了100个测试95个大模型都输出了你预期的意图 top1 就是95%top 1占90% 左右top3 98% 左右太高了怎么办agent 处理的问题阈 比较少。太低了怎么办agent 还没调好拒识别率agent 应该拒绝的意图有没有拒绝安全性、责任要求重大的领域拒识率一定要高。澄清率意图不明确时候应该要求用户用户补充输入。具体怎么做的测试套件。 测试用例离线分析多轮对话上下文工程记忆工程 之前视频。上下文压缩滑动窗口 算法。压缩后的内容摘要关键事实 (多轮对话中大模型一定要记住的内容) 对话的假设分析严格遵守xxx规则。用户画像。如何解决压缩信息丢失的问题细节丢失的问题整个对话所有历史对话放入到rag 中。放es 中。可以看作是长期记忆的一种。跨对话找回来。rag 检索算法的原理向量化的原理。开源软件记一下它支持什么样的检索、排序算法。反馈和评估你怎么知道你的大模型效果好不好构造测试集大模型离线分析历史对话AB 测试。维度多样。构造测试集意图识别的测试集上下文 ( 记忆 个性画像关键事实) 用户输入预期结果大模型输出意图两则比较rag 检索指标recall3返回的3个文档里面 刚好有我需要的那个文档。recall1返回的 刚好是你需要的那个怎么得到这个指标测试集输入一 模拟用户 输入上下文》 这种做法会经过查询改写输入二 模拟改写后的查询 上下文 》 这种做法没有测试改写的过程。预期返回的rag 检索结果 预期返回的一个文档。为什么不推荐 预期返回的结果 不是多个文档假设 预期返回 ABC 三个文档顺序是ABC,万一 RAG 一种方式是 DAB 没有C另一种返回CBA 顺序完全不对。需要几个测试参考单元测试。考虑分支覆盖。怎么衡量整个agent 的效果 用户满意度 好/坏。转义话题率深入追问率。案例问题1 良信互联是什么问题2 市场占有率是多少要求 :用户输入规范 提示词改写句子补全良信互联的市场占有率是多少意图识别全屋智能的占有率的整体分析还是 良信互联的占有率关键事实提取良信互联就是 用户输入的一个关注点。RAG 检索/工具发起了 网络查询关键字 应该有 良信互联、市场占有率。RAG 检索 生成的查询 应该有 全屋智能的市场占有率分析良心互联的市场占有率。面试问题上下文压缩后对话细节丢失后怎么解决上下文 管理压缩、滑动窗口记忆用户画像上下文 、 上下文窗口 两码事上下文: 围绕当前对话 的所有数据。上下文窗口 发起大模型调用时候传递给大模型的数据。上下文 映射过去 上下文窗口。上下文 本身的字段对话的细节、摘要、用户画像字段本身也分场景例子用户画像分很多块方向不同属性场景 不同用户画像的字段。比如 喝奶茶字段 品牌、甜度看电影字段、玩字段等。需要放入窗口里面的东西跟agent 当前的状态有关。·ReAct 不同迭代窗口都是要调整的。面试装逼a b c 3个字段意图识别 ab 字段rag 检索 bc 字段。上下文压缩的复杂策略。当前步骤 需要什么 保留什么不需要就放旁边。以及窗口还有多大的决策。窗口还有很大随便压缩窗口很小了重度压缩意图识别 我有几千个意图你怎么做意图识别意图切换怎么解决上下文 进行特殊处理把当前意图无关的东西丢掉(归档)。上下文两部分1.公共部分2.意图专属的部分