结合机器学习技术,AR虚拟钢琴应用《AR Pianist》

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

1月28日青亭网报道,此前,软件开发者和3D艺术创作者Fayez Salka在社交媒体分享了一段AR软件的体验视频获得大量网友关注。

PianoAR-1024x530

据了解,这是一个基于《AR Pianist》软件的视频,该软件是一个基于钢琴的AR软件,当你将手机摄像头对准一架钢琴时,就会弹奏乐曲,并且钢琴按键会对应颜色标识。

不仅如此,软件还会模拟一个AR弹奏着,通过虚拟化身的形式进行演奏。甚至,最终只识别钢琴,然后进行整个AR环境的模拟。

据悉,《AR Pianist》结合了机器学习技术,其通过Core ML模型,重点在于可以在任何光照环境下,识别任何品牌的钢琴,无需使用特殊带有marker的图像或标记等,也无需扫描任何钢琴的3D模型。

目前,该应用仅在iOS端提供。Fayez Salka表示:这款AR应用潜力巨大,是一个基于手机上体验钢琴演奏的新方式,并且是一个有效的音乐教育资源。例如,你可以将歌曲速度放慢100倍,来查看手部动作,未来这些体验将无缝迁移到AR头显上。

实际上,Fayez Salka以及团队此前开发的另一款与钢琴有关的应用《Piano 3D》就是一个非常优秀的应用,其也内置了AR模式,并且多次被App Store推荐,下载量超700万次。而这款《AR Pianist》也是基于此前《Piano 3D》的一些成就。

参考:VRscout

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册