治理与生态安全、合规与开源生态

提示注入

通过构造恶意输入劫持模型行为的安全攻击。

提示注入利用模型对指令与数据不加区分的弱点:攻击者把恶意指令藏在网页、文档或用户输入中,诱导模型执行越权动作。缓解手段包括输出过滤、权限隔离与输入清洗。

相关术语