合成数据可以减少对原始记录的依赖，也能补充受控测试用例。但数据不会仅仅因为由模型生成，就自动变成匿名数据。
说清生成机制
合成数据可能来自规则、仿真，或使用真实样本训练或提示的模型。隐私风险取决于生成器如何接触敏感数据、是否可能记住原始记录，以及最终发布了哪些输出。
Google Research 介绍过将合成数据与联邦学习、差分隐私结合，用于移动端语言模型适配的方法。差分隐私增加了形式化机制和隐私预算；普通生成过程并不会自动获得这种保障。
测试隐私攻击
检查与源记录的完全匹配和近似重复、罕见属性组合、成员推断，以及旨在诱导模型吐露记忆细节的提示词。使用独立留出的数据作比较。应遮盖明显的身份标识，但也要认识到，多个属性组合仍可能用于关联识别。
“未发现重复记录”是有用的证据，却不是匿名性的证明。应记录攻击方法、阈值，以及测试人员能访问哪些数据。
按下游任务衡量实用性
将基于合成数据训练的模型或分析，与适当的真实数据基线及独立留出的真实评估集进行比较。按子群体和罕见情况报告表现。总体相似度很高，也可能同时缺失最关键的长尾情况。
避免使用生成数据的同一个生成器来评估数据。视觉上看着真实、文字表达流畅，并不能有力证明统计特征或业务表现可靠。
有意识地控制覆盖范围
合成过程可能过度生成常见模式，并抹平异常。先定义必需的场景，再检查分布、标签平衡、相关性和边缘案例的覆盖情况。保留由专家补充案例的途径，包括历史上未出现、但对安全至关重要的情况。
追踪合成数据的生成链：生成器版本、提示词或模拟器配置、种子数据的边界、过滤器及发布日期。可复现性有助于在下游模型出错时排查原因。
对输出同样实施治理
明确谁可以生成、审批、共享和保留数据集。将源数据的访问权限与合成输出的访问权限分开。根据适用规则审查输出是否仍属个人数据或受监管数据，而不是以“合成”这个技术标签代替判断。
合成数据是解决特定数据问题的工具。相关主张应说明生成机制、经过测试的隐私属性以及测得的实用性，而不能只说“隐私安全”。
如何付诸实践
先选择一项与合成数据及其隐私局限相关、范围明确的工作流程。在改变系统之前，写下一页基线记录：目前的完成时间、质量检查、常见失败类别、升级处理路径，以及对结果负责的人。选择有代表性的样本，而不只挑最简单的例子。纳入普通案例、困难的边缘案例，以及至少一个正确做法是暂停或要求补充信息的案例。
先让候选方案与现有流程并行运行，再考虑替换现有流程。成功和失败的输出都要检查，因为整体错误率降低，仍可能掩盖新的高影响故障。记录每次测试所用的准确配置，并保留足以让其他审查者复现结果的材料。试点结束时，应依据事先商定的阈值决定扩大使用、调整还是停止，而不是凭事后对最佳演示的印象做决定。
向供应商或内部团队提出的问题
询问支撑核心主张的证据是什么、证据对应哪些系统和数据版本，以及排除了哪些条件。索取针对部署所涉语言、输入类型和风险类别的结果。了解变更如何通知、回归问题如何发现，以及客户如何导出事件复盘所需的日志。
还要询问置信度低、依赖项故障或请求超出支持范围时，系统会如何处理。可靠的产品应有明确的失败状态，而不只是给出措辞更漂亮的回答。责任归属也很重要：明确谁能暂停流程、谁批准例外，以及重大错误流入生产环境后由谁通知受影响用户。
实用检查清单
- 在选择模型或工具之前，先定义用户任务以及真正重要的失败情况。
- 保留一个从真实工作中抽取的小规模、带版本标识的测试集，包含棘手及对抗性案例。
- 为每次运行记录模型、提示词、工具、检索设置、数据版本、延迟和成本。
- 对不可逆、高影响或外部可见的操作，要求人工确认。
- 按类别审查失败，而不只看平均分，并将回归案例纳入测试集。
Meydo Journal 延伸阅读
主要来源
- 合成与联邦方法：保护隐私的领域适配 — Google Research
