手指画圈“穿越”足球场,QQ推出世界首个“手势AI识别跟踪”玩法

互联网
阅读:
2020-01-04 23:17:42

6月20日,手机QQ正式上线“QQ-AR穿越赛场”活动,打开手机QQ扫一扫进入活动,用指尖在摄像头前或屏幕上的指定区域“画圈”,即可开启“AR任意门”,在现实场景与虚拟赛场之间穿梭,360度全景观看虚拟赛场。这种玩法应用手机QQ和腾讯音视频实验室共同研发的画圈手势AI识别跟踪技术、VIO(视觉惯性里程计)、全景视频播放等多项黑科技,在技术解决方案、功能体验两个方面均实现了世界首创。

画圈召唤“任意门” QQ-AR穿越球赛现场

拥有“世界第一运动”美誉的足球,一直以来都是深受年轻人喜爱的热门运动。QQ选择将足球运动与AR黑科技结合,并通过“穿越赛场”、“360度全景体验”以及虚拟互动的打造,再一次刷新了用户对于AR玩法的体验。

据了解,触发“QQ-AR穿越赛场”玩法需要通过一个核心手势——“画圈”,这是基于手机QQ与腾讯音视频实验室联合推出的“手势AI识别跟踪”技术支持实现的。打开最新版本手机QQ扫一扫,点击“QQ-AR穿越赛场”图标进入玩法界面,根据手机屏幕提示,伸出手指在后置摄像头前或手机屏幕上的指定区域,完成“画圈”动作即可开启“任意门”。

透过“任意门”,隐约可以看到绿茵球场、红衣队员、现场观众,手持手机向前走就能在现实场景与虚拟赛场来回穿梭。“迈过”任意门进入虚拟世界后,还能调整手机摄像头360度全景观看,很真实具有代入感。

以“QQ全明星队员”身份进入虚拟赛场后,点击“加入球赛”还可以参与趣味互动:在一段激烈比赛后,你的一个任意球罚球将决定最终胜负…互动之后还会生成关于此次球赛的魔法报快讯以及精彩进球视频,可以分享给好友或者保存本地。

玩法、技术双首创 QQ任意门“圈住”年轻人

近年来,随着AR技术识别文字、图像、手势等能力的不断增强,各种新的内容、玩法层出不穷。“QQ-AR穿越赛场”玩法将手势AI识别跟踪技术、VIO(视觉惯性里程计)技术以及全景视频播放AR技术等多项黑科技结合,带来跨越现实和虚拟世界的AR体验,实现了技术上的世界首创。

具体来说,“QQ-AR穿越赛场”玩法基于手机QQ和腾讯音视频实验室联合推出的、业内首次“手势AI识别跟踪”技术实现:当用户手指在摄像头前挥动时, 通过在终端运行级联神经网络计算,获取用户指尖的位置信息,得到指尖的运动轨迹,并记录和拟合判断是否画圈成功。判断画圈成功后,再采用三维重建定位跟踪技术,将虚拟的魔法门增强显示到现实场景中,让用户可以稳定、准确的在真实世界和虚拟世界来回穿梭。

音视频实验室的手势AI识别跟踪技术在模型设计与前馈计算两个层面对体验进行优化。模型层面,通过蒸馏、剪枝等多种方法优化网络模型,在最大限度保证高精度的前提下降低模型复杂度,在性能、准确率和误识别之间取得了一个较好的平衡;在前馈计算层面,通过在CPU指令级别优化终端前馈计算性能,最终结合模型,实现了具有良好精度,实时的性能表现以及最大程度设备兼容性的指尖运动轨迹追踪。

不仅在技术上进行了创新突破,“QQ-AR穿越赛场”玩法在创意玩法上将多项黑科技与体育运动结合创造“穿越赛场”的效果,将热爱运动的年轻用户从体育赛事的旁观者转变为赛场的参与者,也尚属世界首例。

作为国内重要的年轻人社交平台,QQ拥有超过六成的年轻用户,他们追求个性、科技的玩法体验。因此,QQ运用平台、科技优势,首次把多项黑科技与体育运动结合,打造“任意门”穿越、趣味互动等体验,符合他们对于AR体验科技、炫酷的期待,以及将黑科技融入日常生活的需求。一方面,QQ的AR任意门能够“圈住”求新的年轻人;另一方面,年轻人乐于分享的特点,也让“AR任意门”这一玩法通过社交关系链,迅速拓展到更多的领域和群体,反哺整个AR行业的发展。