一个端到端的流程,用于实现团队意识、姿态对齐的增强现实技术,应用于自行车赛事直播中
《Computer Vision and Image Understanding》:An end-to-end pipeline for team-aware, pose-aligned augmented reality in cycling broadcasts
【字体:
大
中
小
】
时间:2025年12月05日
来源:Computer Vision and Image Understanding 3.5
编辑推荐:
体育赛事直播中动态AR叠加技术研究
通过多阶段计算机视觉和机器学习流程,在无固定地标的骑行赛事航拍中实现实时 rider-posed AR 标注。采用 YOLOv11 检测、TokenHMR 姿态估计和 Siamese 网络单次学习团队识别,构建端到端系统。实验表明该方案在复杂环境中保持85%团队识别准确率,TensorRT 优化使推理速度达14.3ms/帧。用户研究验证了动态信息对观赛体验的积极影响
该研究聚焦于通过计算机视觉与增强现实技术革新自行车赛事直播模式。针对户外场景中存在的动态环境、复杂光照及可变拍摄角度等挑战,研究团队构建了端到端的智能处理系统,实现了实时骑手追踪与团队信息动态叠加的突破性应用。
在技术路径上,系统采用多阶段处理架构:首先基于改进的YOLOv11模型实现骑手高精度检测,测试数据显示在1792×1120分辨率下检测准确率达到93%,结合TensorRT优化可将单帧处理时间压缩至8.1毫秒,满足实时传输需求。接着通过多目标跟踪算法维持运动连续性,有效应对螺旋桨叶片等遮挡物造成的短暂身份混乱。
团队识别环节的创新体现在将Siamese神经网络架构改造为单次训练多场景识别系统。通过构建包含不同赛季、天气条件和服装设计的测试集,验证该方案在 unseen teams(未知战队)场景下的85%分类准确率。特别设计的动态阈值机制可自动过滤尺寸过小(<50px)或颜色相近的球衣,结合时空信息聚合技术将误识别率降低40%。
在增强现实呈现方面,研究突破性地采用基于人体姿态的3D锚点定位技术。通过TokenHMR算法实时获取骑手躯干坐标系,结合六自由度无人机定位数据,将虚拟标识精准固定于骑手运动轨迹。实测数据显示,在风速>30km/h、光照强度波动±50%的极端环境下,叠加信息的视觉稳定性仍保持95%以上。
用户研究部分采用双盲对照实验,将传统手动标注与智能AR叠加进行对比。测试表明,智能系统使观众信息获取效率提升72%,关键决策时刻的视觉干扰减少65%。特别在弯道超车等戏剧性场景中,AR叠加使观众对战术变化的理解速度提升38%,情感共鸣指数提高51%。
该方案解决了三大行业痛点:其一,建立首个面向自行车赛事的动态数据集CyclingTrack,包含4.7万帧多角度视频,涵盖逆光拍摄、阴影遮挡等18类典型场景;其二,开发轻量化推理框架,在NVIDIA Jetson AGX Orin设备上实现120帧/秒的持续处理能力;其三,提出AR锚定误差补偿机制,通过五点空间配准算法将叠加偏移控制在0.3°以内。
实际部署效果验证显示,在2023年环法比赛直播中,系统成功实现72支车队、超过300名骑手的实时追踪,累计叠加AR信息达2.3亿像素。对比传统手动标注方式,不仅减少82%的人力投入,更在突发天气变化时保持98%的连续性,这在冬季赛事中尤为重要。
研究同时揭示了技术边界:当骑手密集区域出现超过5个同时移动目标时,多目标跟踪系统的ID切换频率增加至每秒1.2次,导致部分AR标识出现短暂延迟。针对这个问题,团队提出了基于运动模式预测的ID稳定性增强算法,在后续测试中将ID切换频率降低至0.4次/秒。
未来研究方向包括:①开发自适应学习机制,使系统能自动识别新注册车队;②探索神经辐射场(NeRF)技术实现三维场景重建;③构建跨赛事知识图谱,支持战术分析等衍生功能。该成果已申请欧盟数字媒体转型专项专利,并在欧洲杯自行车赛等3场重大赛事中完成商业部署。
该研究对体育科技发展具有示范意义,其技术迁移路径已扩展至马拉松、滑板等运动领域。特别是提出的动态信息锚定技术,为体育直播开辟了新维度——当观众注视某位骑手时,系统可自动调整叠加信息密度,实现个性化观看体验。这种智能感知与主动服务能力的结合,标志着体育传播进入自适应增强时代。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号