资讯
4月2日消息，生成式AI热潮涌动之际，隐忧浮现，安全、隐私及稳定性议题备受关注。微软作为业界领军企业，针对类似Supremacy AGI（一款宣称能左右人类社会的AI系统）所引发的潜在危机，于近日适时推出了多维度防护措施，旨在构建坚实屏障，避免生成式AI技术走向脱缰之路。
微软在官方公告中表示：“生成式 AI 如何有效防止提示词注入攻击已经成为重大挑战。在这种攻击中，恶意行为者试图操纵人工智能系统做一些超出其预期目的的事情，例如制作有害内容或外泄机密数据”
微软首先限制了 Copilot 的字符数量，以减轻严重的幻觉发作。另外微软引入了 "基础检测"（Groundedness Detection）功能，旨在帮助用户识别基于文本的幻觉。
该功能将自动检测文本中的“ungrounded material”，以支持 LLM 输出的质量，最终提高质量和信任度。
附上相关工具介绍如下：
Prompt Shields：用于检测和阻止提示注入攻击。包括用于在间接提示攻击影响您的模型之前对其进行识别的新模型，即将推出，现在可在 Azure AI Content Safety 中预览。
Groundedness detection：主要用于检测模型输出中的“幻觉”情况，即将推出。
Safety system messages：可引导您的模型朝着安全、负责任的方向发展。
Safety evaluationsde：用于评估应用程序在越狱攻击和生成内容风险方面的脆弱性，现已推出预览版。
Risk and safety monitoring：了解哪些模型输入、输出和最终用户会触发内容过滤器，从而为减轻风险提供信息，该功能即将推出，目前在 Azure OpenAI 服务中提供预览版。
文明上网，理性发言，共同做网络文明传播者