近日,OpenAI于此前不负众望,揭晓了其最新的多模态内容审查模型——“omni-moderation-latest”。这款模型的诞生,标志着在维护网络环境的健康与安全方面迈出了重要一步,通过先进的人工智能技术实现对文本、图像及视频等多类型内容的高效审核与管理。
该模型基于最新的 GPT-4o 技术,能够准确地识别检测有害文本图像。这一更新将为开发者提供强大的工具,让他们能够构建更强大的审核系统。
新模型的亮点在于,它支持对文本和图像输入进行审核,特别是在处理非英语内容时表现更加出色。
与之前的审核模型相比,“omni-moderation-latest” 不仅提高了识别的准确性,还增加了检测更多有害内容的能力。它可以对暴力、自残和性内容等多个类别进行评估,确保用户能够在一个更安全的空间中交流。
OpenAI自2022年推出内容审核 API (Moderation API )以来,自动化审核系统需要处理的内容量和种类不断增加,尤其是随着越来越多的人工智能应用进入大规模生产阶段。如今,许多公司,例如 Grammarly 和 ElevenLabs,都在使用这一 API 来保护用户安全,防止不当内容的产生。
新模型的优势体现在多个方面:
首先,它可以进行多模态的有害内容分类,针对图像和文本的组合进行评估,识别暴力残及性相关的风险。
其次,模型新增了两类文本审核,分别是与违法和暴力相关的内容,进一步增强了审核能力。
另外,对于非英语内容的检测,准确度大幅提升测试显示在40语言中的准确率提高了42%,尤其在低资源语言上表现更为突出。
对于开发者来说,这款新的审核模型依旧是免费的内容审核 API 可以轻松接入。OpenAI 希望这项升级能让更多的者利用最新的研究成果和安全系统,为用户创造更加友好的在线体验。
文明上网,理性发言,共同做网络文明传播者