AI 应用工程入门（十一）：为什么离不开数据处理？
用普通人能听懂的方式解释数据清洗、metadata、chunk 质量、评测数据和反馈数据的作用。
AI 应用效果不好，很多时候不是模型不够聪明，而是数据太乱。RAG、评测、反馈闭环、微调样本，都离不开数据处理。
题目 1：为什么 AI 工程师必须懂数据处理？
标准答案：因为 AI 应用的效果很大程度取决于输入数据质量。数据脏，模型再强也会答得乱。
工程要点：常见问题包括数据没清洗、文档结构乱、重复内容太多、关键信息丢失、格式不统一、权限没隔离。这些问题会直接影响检索和回答。
题目 2：RAG 入库前要处理哪些数据？
标准答案：通常要处理文档解析、页眉页脚、重复内容、标题层级、表格、OCR、语义切片、metadata、权限标签和去重。
工程要点：不要把 PDF、Word、网页内容粗暴转成纯文本就直接入库。文档结构越好，检索效果越好。表格、标题和章节关系常常比纯文字更重要。
题目 3：metadata 为什么重要？
标准答案：metadata 是文档片段的附加信息，比如 documentId、title、section、page、updatedAt、department、permission。
工程要点：metadata 用于过滤检索范围、展示引用来源、做权限控制、判断内容新旧和调试答案来源。一个 chunk 只有 content，没有 metadata，后期维护会非常困难。
一个可维护的 chunk 记录可以这样设计：
const chunk = {
id: "policy-2026-001#p3",
content: "年假申请需提前 3 个工作日在 OA 系统提交...",
embedding: [0.012, -0.034, 0.098],
metadata: {
documentId: "policy-2026-001",
title: "员工休假制度",
section: "年假申请流程",
page: 3,
department: "hr",
permission: "internal",
updatedAt: "2026-05-20",
},
};
metadata 的价值在问题发生时最明显：答案错了，可以追到哪份文档、哪一页、哪个章节；权限不对，可以在检索前过滤；资料过期，可以按 updatedAt 做更新策略。
题目 4：什么是 chunk 质量？
标准答案：chunk 质量指文档切片是否语义完整、大小合适、上下文足够。
工程要点：坏 chunk 可能只有“具体流程如下”，模型看不懂；好 chunk 会包含明确主题和完整规则，比如“年假申请流程：员工需提前 3 个工作日在 OA 系统提交申请”。
题目 5：用户反馈数据有什么用？
标准答案：用户点赞、点踩、修改后的答案、人工接管记录、重新提问，都可以用来持续改进系统。
工程要点：反馈不能不加筛选直接拿去训练。它更适合先进入问题池和评测集，帮助判断是文档缺失、检索不准、Prompt 不清，还是工具能力不足。
完整示例：数据处理决定 RAG、评测和反馈闭环的上限
很多 AI 应用效果差，不是模型不够强，而是数据进入模型之前就已经乱了。PDF 解析丢标题，表格被打散，页眉页脚反复出现，chunk 没有来源，权限标签缺失，这些都会让检索和回答变差。
RAG 入库前至少要做这些处理：
1. 解析：PDF、Word、网页、表格、OCR。
2. 清洗：去页眉页脚、去重复、修乱码、保留标题层级。
3. 切片：按语义切 chunk，不要机械按字符硬切。
4. metadata：记录来源、章节、页码、更新时间、权限。
5. 去重：同一制度多版本要能识别和更新。
一个好的 chunk 要能独立被模型理解。坏 chunk 可能只有“具体流程如下”；好 chunk 会带上主题和规则。
const goodChunk = {
id: "leave-policy#annual-001",
content: "年假申请流程：员工需提前 3 个工作日在 OA 系统提交年假申请，直属主管审批通过后生效。",
metadata: {
documentId: "leave-policy",
title: "员工休假制度",
section: "年假申请流程",
page: 3,
permission: "internal",
updatedAt: "2026-05-20",
},
};
反馈数据也不能直接拿去训练。点赞、点踩、用户改写后的答案、人工接管记录，更适合先进入问题池和评测集。每条反馈都要标注原因：是资料缺失、检索不准、Prompt 不清、工具失败，还是用户问题本身不完整。
type FeedbackItem = {
question: string;
modelAnswer: string;
userFeedback: "up" | "down";
correctedAnswer?: string;
failureType?: "missing_doc" | "bad_retrieval" | "bad_prompt" | "tool_error";
};
这一课的完整答案是：数据处理不是边角活，而是 AI 应用的地基。资料干净、结构清楚、来源可追踪、权限可过滤，模型才有机会可靠。
这一篇最该带走的结论是：AI 应用的上限往往由数据质量决定。资料干净、结构清楚、来源可追踪、权限能隔离，模型才有机会可靠。