资讯
近日消息，AI 模型训练迎来新突破，Meta AI 推出开源高性能数据加载工具 SPDL，有效提升数据管理效率，从而显著加快训练速度。
SPDL 工具采用多线程技术，在常规 Python 解释器中（未启用 free-threading 选项）实现了高吞吐量，资源占用更低，并兼容 Free-Threaded Python。
核心优势
SPDL 包含任务执行器（流水线抽象）、构建流水线的实用工具以及高效且线程安全的媒体处理操作，其核心是异步事件循环，负责调度新任务和响应任务完成。SPDL 通过将同步操作委托给线程异步执行，实现真正的并发。
相比较传统基于进程（process）的处理方式，SPDL 工具升级改用基于线程（thread）的加载方式，有效避免了进程间通信的开销，显著提升了数据传输速度。
该工具的另一个亮点在于预取和缓存技术，确保 GPU 始终有数据可供处理，最大程度减少 GPU 空闲时间，提高系统整体效率。
无论是单 GPU 还是大型集群，SPDL 支持跨分布式系统工作，可以高效处理复杂任务；SPDL 工具还无缝兼容主流 AI 框架 PyTorch，方便团队快速采用。
性能
Meta 表示相比传统基于进程的方案，SPDL 吞吐量提升 2-3 倍；此外在禁用 GIL 的 Free-Threaded Python 环境中，SPDL 吞吐量提升 30%。SPDL 提供性能监控和调优工具，方便用户深入了解数据加载过程并进行优化。
文明上网，理性发言，共同做网络文明传播者