首页 > 科学探索 > 正文

借助机器学习技术 研究人员将单声道音频转为2.5D格式

德克萨斯大学奥斯汀分校,刚刚携手 Facebook 人工智能研究员,开发出了一套基于机器学习技术的“单声道音频转换”技术。 其能够分析视频中场景,转换出更加令人感到震撼的“2.5D 视觉立体声”。显然,这项技术很适合将普通单声道音频,更好地运用到虚拟现实(VR)头戴式、带来更出色的沉浸式体验。

人类之所以能感知到 3D 空间的立体声,得益于双耳的独特结构。基于声音传播的时差,大脑才能够确定物体的距离和位置。这种 3D 音频体验,可以通过模拟双耳的立体声设备来录制和复现。

遗憾的是,大多数音频都是单声道格式的(录制时就只使用了单个麦克风)。虽然日常生活中已经“够用”,但它并不适合 VR 等追求沉浸式体验的应用场景。

2.5D Visual Sound( via )

有鉴于此,将单声道音频转换成双声道,就变得很有必要。好消息是,研究人员 Ruohan Gao 和 Kristen Grauman,已经找到了一种相当接近的方法。

该方法依赖于 视频 ,在深度学习技术的加持下,通过分析画面中各个物体的空间位置,即可转换出更加立体的 2.5D 音频。

当然,这项方法也存在着一定的限制,尤其是存在一些让 AI 无法理解的对象的时候。感兴趣的朋友,可以观看上面这段演示视频。

[编译自: SlashGear ]

【来源:cnBeta.COM】

网友评论

三日内热门评论文章
热门IT产品
  1. ¥7599
    苹果iPhoneX 64GB
    ·
  2. ¥5799
    三星S9
    ·
  3. ¥4498
    vivo NEX旗舰版
    ·
  4. ¥4999
    OPPO Find X
    ·
  5. ¥1799
    努比亚Z18mini
    ·
  6. ¥1499
    OPPO A5
    ·
  7. ¥1999
    荣耀Play(4GB RAM)
    ·
  8. ¥1598
    vivo Y85
    ·
  9. ¥3499
    坚果R1(6GB RAM)
    ·
  10. ¥3599
    一加6(8GB RAM)
    ·
为您推荐
  • 相关阅读
  • 业界资讯
  • 手机通讯
  • 电脑办公
  • 新奇数码
  • 软件游戏
  • 科学探索