舞者化身钢琴师——雅马哈实现人与人工智能(AI)同台演出

ICT 2018年02月13日
PHOTO

1月31日,雅马哈株式会社公开了一段英文版视频,视频内容为去年11月下旬在位于东京上野的东京艺术大学奏乐堂举办的音乐会“舞·飞天游”(主办方:东京艺术大学、东京艺术大学COI基地)的一部分。被《纽约时报》誉为“令人惊叹的舞者”的森山开次出演舞蹈部分,与世界级的乐团同台挑战了“将舞蹈动作实时转换成钢琴曲”。雅马哈方面宣称“通过灵活运用AI,将人类的动作实时转换为音乐表现成为了可能”。

该公司自2015年起,加入了由文部科学省和科学技术振兴机构(JST)发起的《引领突破性创新项目(COI STREAM)》基地之一的“东京艺术大学COI基地”,此次合作也是该项活动的一部分。

视频地址
短视频(约90秒)[YOUTUBE]
完整版本(约5分钟)[YOUTUBE]

音乐会上亮相的是《舞·飞天游》,由松下功(东京艺术大学副校长)作曲的《飞天游》为此次音乐会重新编曲而成,雅马哈公司制造的具有自动演奏功能的钢琴(Disklavier™),可通过其正在研发的“舞姿识别钢琴演奏系统”,演奏出与森山的舞姿相呼应的旋律,完成与柏林爱乐乐团Scharoun Ensemble的同台演出。

该系统基于佩戴在人体上的4种探测器(伸缩、肌肉电位、加速度、旋转)所获取到的信息,通过AI对动作进行即时解析,然后将与舞者动作相关的演奏数据传输给钢琴,以实现将舞姿转换为音乐。

对此,森山表示“在感受到‘用舞姿进行演奏’的同时,在一些瞬间比以往更能意识到‘要将舞姿展示出来’,这种感受十分新鲜有趣。在人工智能将我的舞蹈转换为音乐的过程中,我再一次感受到了人类了不起的‘察觉思想和行动’的能力”。柏林爱乐乐团Scharoun Ensemble的演奏家Peter Riegelbauer表示:“虽然我曾经多次演奏过《飞天游》,但舞蹈与钢琴结合的《舞·飞天游》还是带给了我耳目一新的感觉。能够参与这项了不起的尝试,我觉得非常荣幸”。

雅马哈方面,研究开发统括部第1开发部的田邑元一部长表示:“人工智能或许可以成为‘人与乐器之间的桥梁’”,并且希望未来能够更加自由而直接地将人类的表现传达给乐器。

“舞姿识别钢琴演奏系统”概要图(图片来源:新闻报道)

文:客观日本编辑部(三木)

相关链接
新闻稿(日本语)[网址] (英语)[网址]

森山开次官方网站[网址]
柏林爱乐乐团Scharoun Ensemble官方网站(德语、英语)[网址]
松下功官方网站[网址]

相关阅读
超歌舞伎将传统艺术与最新技术相融合 吸引了众多年轻观众[网址]
2017东京国际电影节开幕---将上映200多部内外作品,第二天举行了“歌舞伎座晚”[网址]
管虎导演在东京:“东京国际电影节·中国电影周”最佳导演作品,《老炮儿》的故事[网址]
东京国际电影节:中国电影周暨日中电影节“金鹤奖”颁奖典礼圆满结束[网址]

相关阅读