您当前的位置:首页 > 综合 > 正文

OWASP Top 10 for LLM 公布，了解大模型语言风险

时间：2023-08-03 17:01:39 来源：OSCHINA

(资料图)

开放全球应用程序安全项目 (OWASP) 是一个致力于提高软件安全性的非营利基金会，以 OWASP Top 10 最为著名 —— 这是一份定期更新的 Web 应用程序中十大最关键安全风险的列表，目前已成为行业标准。

日前，OWASP 与近 500 名相关专家合作，最新发布了 Top 10 for LLM 的 1.0 版本，专门针对大语言模型（LLM）应用相关风险。旨在为开发人员、数据科学家和安全专家提供实用、可操作和简明的安全指南，帮助他们驾驭复杂多变的 LLM 安全领域。

“急于利用 LLM 潜力的企业正在迅速将 LLM 整合到其运营和面向客户的产品中。然而，LLM 被采用的速度之快已经超过了建立全面安全协议的速度，导致许多应用容易出现高风险问题。”

根据该列表，排名前 10 位的漏洞分别是：

提示注入 (Prompt Injection)。狡猾的输入可以操纵大型语言模型，导致意想不到的操作。直接注入会覆盖系统提示，而间接注入则会操纵来自外部的输入。 不安全的输出处理。当 LLM 输出未经审查即被接受，从而暴露后端系统时，就会出现此漏洞。滥用可能导致严重后果，如 XSS、CSRF、SSRF、权限升级或远程代码执行。 训练数据投毒。当 LLM 训练数据被篡改，引入漏洞或偏差，危及安全性、有效性或道德行为时，就会发生这种情况。来源包括 Common Crawl、WebText、OpenWebText 和书籍。 模型拒绝服务。攻击者在大语言模型上进行资源密集型操作，导致服务质量下降或高成本。由于型语言模型的资源密集性和用户输入的不可预测性，这种漏洞就会被放大。 供应链漏洞。LLM 应用程序生命周期可能会受到易受攻击的组件或服务的影响，从而导致安全攻击。使用第三方数据集、预训练的模型和插件会增加漏洞。 敏感信息泄露。LLM可能在其回应中透露机密数据，导致未经授权的数据访问、隐私侵犯和安全漏洞。为减少这种情况的发生，实施数据清理和严格的用户政策至关重要。 不安全的插件设计。LLM 插件可能存在不安全的输入和访问控制不足。这种应用程序控制的缺失使它们更易于被利用，并可能导致远程代码执行等后果。 过度代理。基于 LLM 的系统可能会采取导致意外后果的行动。问题源于授予基于 LLM 的系统过多的功能、权限或自主权。 过度依赖。系统或人员过度依赖 LLM 而没有进行监督，可能会因为 LLM 生成的错误或不适当的内容，面临信息误导、沟通失误、法律问题和安全漏洞。 模型盗窃 (Model Theft)。这涉及到未经授权的访问、复制或外泄专有的LLM模型。其影响包括经济损失，竞争优势受损，以及可能接触到敏感信息。

每个漏洞都附有示例、预防技巧、攻击场景和参考，更多详情可查看完整列表。

标签：

OWASP Top 10 for LLM 公布，了解大模型语言风险

最新文章推荐

热点资讯

OWASP Top 10 for LLM 公布，了解大模型语言风险

最新文章推荐

资讯中心

热点资讯