资讯
复旦NLP团队创新研发的“复旦·眸思”（MouSi）系统近日推出专为视障群体设计的“听见世界”移动应用，借助先进的多模态大模型技术，仅需摄像头与耳机，即可将视觉信息转化为语音描述，实时帮助视障用户识别环境、预警风险，大大提升其日常生活便利性和出行安全性。该应用计划于今年3月初完成首轮测试，并将在我国一二线城市启动同步试点，随后根据计算能力逐步推广。
“听见世界”App设有三项核心功能：街道行走模式下，系统可精准检测路况，如交通信号灯、交叉路口及障碍物等，实时发出潜在危险警告；自由问答模式则能引导视障人士在公共场所如博物馆、艺术馆、公园等地获取周遭详尽的视觉信息，通过声音生动再现场景；寻物模式则助力快速定位失散物品，如手杖或不同种类的日常用品。
据统计，我国现有视障人口达1700多万，但由于面临诸多安全隐患，他们在日常生活中鲜少独立外出。“听见世界”App项目由复旦大学自然语言实验室张奇教授指导，主要参与者是一群充满创意的年轻学子。整个项目团队汇聚了包括本科至博士研究生在内的25名复旦学子，以及多名教师、专家如桂韬等人的智慧力量。为了深入理解视障群体的切实需求，团队成员不仅亲自体验蒙眼生活，还积极邀请视障人士参与到产品开发过程中。在前期利用数亿张图片训练而成的基础“眸思”大模型之上，团队针对视障用户的特定需求，进一步采用上万张图片进行针对性训练，提升了“眸思”对多样化场景的适应能力。
展望未来，项目团队将持续研发拓展新应用场景，例如阅读模式，方便视障朋友自主点餐、阅读书籍；解说模式，则有望替代人工成为无障碍电影的智能解说工具，全方位提升视障群体的生活品质。
文明上网，理性发言，共同做网络文明传播者