华中科技大学人工智能与自动化学院黄剑团队联合企业推出融合多模感知交互的智能分拣系统

　　近日，人工智能与自动化学院黄剑教授团队与软件学院和机械学院合作，联合华工科技成功研发“融合多模感知交互的智能分拣系统”，并落地应用。
 

　　该系统以“2D视觉+3D建模+AI算法”深度融合为核心，内嵌12大行业定制化算法，通过多模感知与数据处理构建多模态数据集，利用自注意力机制和迁移学习优化算法搭建感知-决策模型，采用迭代控制算法保障机器人执行的柔顺性与安全性。该系统能在复杂工业环境中精准定位、随动抓取海量异形工件，即便1mm以内的零件割缝也可清晰识别，整体识别准确率超99%，重构了工业生产“眼-脑-手”协同范式，为船舶海工、能源装备等离散型制造行业的智能化转型提供关键技术支撑。
 

　　当前，船舶海工、工程机械、能源装备等领域虽已逐步用自动化分拣替代传统人工作业，但行业痛点仍未彻底解决，严重制约智能分拣的工程化应用。一方面，人工分拣遗留的效率与稳定性问题尚未完全突破，部分场景仍依赖人工辅助，重工环境下劳动强度大、疲劳导致的分拣错误率高、生产周期延长等问题依旧存在；另一方面，现有自动化系统面临多重新挑战：工件特性复杂，异形件、多工艺零件的识别定位难度大；环境感知干扰强，粉尘、光线变化等因素易导致系统成像偏差、识别精度下降；同时安全隐患突出，机器人执行的柔顺性不足，易出现碰撞损伤或操作风险。此外，工件整理难度居高不下，不同工件工艺路线复杂、尺寸重量差异显著，传统产线固定流程与现有自动化系统的适配性有限，难以满足料框选择、码盘调度的柔性需求，进一步制约企业生产效率提升。
 

　　针对行业痛点，“融合多模感知交互的智能分拣系统”从技术突破与功能优化双维度形成系统性解决方案，核心技术优势凸显。在“看得清”上，凭借弱特征切割件识别定位技术，实现99%识别率、≤0.5s响应时间与≤1mm定位精度，搭配鲁棒轮廓提取模型与行业专属AI检测模型，超大件检测准确率达100%，同时大幅降低对环境稳定性的依赖；在“抓得稳”上，依托轮廓与位置信息，通过柔性端拾器开磁算法适配异形零件，结合多机器人协同抓取技术实现40%-60%效率提升，搭配自适应双臂协同计算与多机控制，抓取成功率稳定在99%，切断线生成与识别技术更彻底解决行业卡料难题；在“码得齐”上，基于强化学习的任务决策模型提升分拣效率20%，多约束码盘调度算法则实现料框利用率提升20%、零件齐套性提升15%。此外，系统开发配置标准化单元站设计，可根据项目需求快速适配应用，高复用性与高扩展性让中小企业智能化改造更灵活、成本更低，最终实现复杂工业场景下人员减少80%、效率提升100%的高效柔性分拣目标。
 

　　该系统凭借技术创新性与行业价值，已获得多方高度认可与广泛应用。目前该成果被央视新闻联播报道，成为“AI + 工业制造”领域的典型案例，向全国展示我国智能制造技术突破；同时第五十届日内瓦国际发明展中斩获金奖，充分彰显我国在工业智能识别领域的自主创新实力。应用层面，技术已成功落地中联重科、太重集团、芜湖船厂、新能船业、顺特电气等国家或行业级标杆工厂，助力近百家智能工厂建设。其不仅推动工程机械、船舶海工、能源装备等行业高质量发展，更以绿色高效的技术特性驱动全球工业绿色转型，为共筑人类可持续未来提供 “中国方案”。