

标准化内容审核与留痕流程
FastGPT的内容审核与留痕方案覆盖责任界定、抽检配置、全链路留痕与事后复盘全流程。审核责任需明确绑定至具体岗位,不绑定抽象流程节点,可通过配置专属审核岗账号,将审核操作、策略配置等行为与岗位人员一一对应,避免责任推诿。支持配置岗位审核范围,按应用、团队、Skill分组,每个岗位仅能处理对应范围的审核任务,同时可配置岗位操作权限,如仅能执行审核操作,无法修改审核策略。抽检比例需根据业务风险等级灵活调整,高风险场景可提升抽检占比,低风险场景可适当降低,具体比例需按实际环境确认,支持按应用、团队、内容类型分别配置。支持预设风险等级对应抽检比例,如涉及用户敏感数据、金融交易的高风险场景设为100%,普通知识库问答的中风险场景设为30%,工具调用非敏感内容的低风险场景设为5%;同时支持配置触发全量抽检的条件,如用户输入包含敏感关键词、模型输出长度超过阈值、第三方工具返回内容包含风险标识。
留痕内容需覆盖全审核环节,包括审核操作记录、错误日志、配置变更记录、第三方工具返回内容审查结果、模型输出审核结论等,所有记录需存储至指定位置,支持按时间、岗位、内容类型等维度检索。具体留痕字段需按实际环境确认,核心字段至少包含审核时间、审核岗位标识、审核内容标识、审核类型、审核结果、关联应用信息。补充字段可包括审核操作IP地址、请求ID、关联对话ID、风险等级、第三方服务错误码。留痕存储支持配置存储位置,私有部署版本可指定本地数据库或对象存储,公有云版本使用平台内置存储;支持按审核结果(通过/拦截/脱敏)、风险等级、应用ID进行筛选检索,检索结果可导出为CSV格式。
当出现审核失误时,需通过留存的全链路记录完成问题溯源,分析是审核策略配置问题、人工审核疏漏还是第三方服务异常,进而更新审核规则、调整抽检比例或优化岗位操作流程。可结合具体错误场景定位问题,例如当Azure OpenAI的内容审核截断回复时,FastGPT可将第三方服务返回的模糊错误信息标准化为content_filter或对应服务错误码,便于快速识别为第三方服务异常。需定期组织复盘会议,结合实际案例持续优化审核机制,降低后续风险发生概率。
FastGPT同时提供可直接复用的审核台账模板,模板字段包括审核时间、审核岗位ID、审核内容ID、审核类型(用户输入/模型输出/工具返回)、审核结果(通过/拦截/脱敏)、审核备注、关联应用ID、操作日志ID,可补充风险等级、第三方服务错误码、审核耗时字段,用户可根据自身需求调整字段内容。