点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:打造梅兰芳先生的孪生数字人有多难
首页> 文娱频道> 资讯 > 正文

打造梅兰芳先生的孪生数字人有多难

来源:科技日报2021-11-25 09:39

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  某公司推出数字人美妆博主,一条短视频收获百万粉丝;新华社推出数字记者,“TA”也是全球首个数字航天员,吸引众多视线……如今虚拟数字人概念火热,但要打造真正高逼真、超写实的数字人,还有大量技术问题要解决。

  近日,“数字梅兰芳”大师复现项目启动仪式在北京梅兰芳大剧院举行。由北京理工大学参与研制的全国首个高精度京剧数字人“梅兰芳孪生数字人”在仪式现场亮相。

  该项目以京剧大师梅兰芳先生26岁时的模样为原型,对其进行复现。项目由中央戏剧学院、北京理工大学共同发起,腾讯公司提供技术支持,受到“北京高校卓越青年科学家”计划资助,并得到了多家单位和梅兰芳先生家人及弟子的大力支持。

  北京理工大学光电学院研究员翁冬冬告诉科技日报记者,未来他们将不断进行模型实时化升级,并在多个场景应用落地,力争打造国内第一套真正意义上的可实时交互的“京剧数字人”。

  扫描,分解,构建

  做数字人表情有讲究

  虚拟数字人是存在于数字世界的“人”,利用信息技术与人工智能技术,将人全身及肢体动作全方位地进行数字化、可视化复制,最终将现实生活中的人精确地在数字世界中模拟构建出来。

  做虚拟数字人,本身就是啃一块硬骨头。因为人天然就对人的面部特别敏感,虚拟数字人做得稍有不到位,就会让人觉得怪异。

  所以虚拟数字人的一大考验,就是表情。

  研究课题组找到和年轻时梅兰芳先生长相相似的演员,让他模仿梅先生的表情神态,然后利用光场采集技术,采集真实演员毫米级精度的三维数据,并以计算光学为基础构建物理属性皮肤纹理,从而实现对真实演员的高复原度重建。

  “其实一个人的表情神态是很难复现的。我们要扫描演员肌肉的走向、脸部的皱褶等。”翁冬冬说。他们需要将演员做出的表情,编码成几百个基础表情元素。比如完全闭上左眼、左眼半睁开、完全闭上右眼、嘴角向上微微扬起……但人在做表情时,脸上很多部位是联动的。所以,先要将已扫描出的表情拆分成单个的表情元素,再根据实际需要,重新将这些元素组合起来,构成新的表情。

  获取了这些表情之后,课题组还需要将演员脸上的表情,迁移到数字人梅兰芳先生的脸上。“京剧数字人,对眼神和表情的要求非常高。”翁冬冬说。

  由于已经无法采集到梅兰芳先生的真人三维数据源,在收集了大量梅先生的照片作为数字资产构建的参照后,研究团队邀请中央美术学院的师生以历史照片为依据完成了梅兰芳先生的实体肖像。在技术团队与雕塑团队的反复磨合后,完成了以三维数字化为目标的真人雕像数字人制作。

  接下来,他们还需要完善数字人的声音能力,完善数字人的实时语音交互能力,让数字人真正“活起来”。

  消失的布料,失传的手艺

  数字化也是一种抢救性保护

  难题,不仅在于技术。

  这一次,他们这帮技术出身的科研人员,切实感受到了科技和传统艺术的碰撞。“学京剧的人,对传统是很敬畏的,也是相当讲究的。”翁冬冬说。

  梅兰芳先生服装的数字化,就颇费一番周折。

  “现在的布料,和民国时期的布料是不一样的。”翁冬冬说,为了做出接近的衣服质感,项目的另一合作方、中央戏剧学院传统戏剧数字化高精尖中心主任宋震团队,通过各种关系找到了民间收藏的民国留存布样,以其为基础进行逼真服饰材质模拟。

  梅先生戏服上用到的线,叫金线,是用棉绳绕着金箔做出来的。团队被告知,这线现在没法做,因为工艺没有了,手艺失传了,而且当年的棉和现在的棉,根本就不一样。

  有此问题的还有头冠。团队找到专门做盔头的老师傅,来复现京剧《穆桂英出征》中的头冠。但老师傅说,制作这东西,没有图纸,手艺都是口口相传的,靠的是自行领悟。

  这种“只可意会不可言传”,也给数字化扫描带来了难度。

  在困难中,翁冬冬也更深刻体会到这一项目的意义——它其实也是在数字化保存那些正在消失的东西。

  “做梅兰芳先生的孪生数字人,不仅是一个技术实现的过程,也是一个科技和传统文化融合的过程。”翁冬冬说,亲身实践,才会碰到纸上谈兵时不曾想过的问题。融合没那么简单,确实需要双方的磨合、互相倾听和耐心沟通。

  目前,最为人熟知的数字人,当属虚拟偶像。一些主要采用AI换脸技术的数字人,也活跃在市场上。翁冬冬说,从长远来看,三维化的数字人数字资产价值会更高。特别是元宇宙,天然就需要以三维为基础,所以数字人是构成元宇宙的重要基础元素。

  “未来数字人可以成为人机交互的界面,成为人工智能的一个入口。毕竟人还是更容易接受和‘人’沟通交互。”翁冬冬说,但要让高逼真的数字人一颦一笑一举一动都不出戏,还有很长的路要走,“还是要冷静看待数字人的火热。”记者 张盖伦

[ 责编:张晓荣 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 联合国中文日活动走进巴西里约热内卢

  • 第十四届北京国际电影节开幕

独家策划

推荐阅读
党的二十大报告提出,“坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,加快实现高水平科技自立自强”。
2024-04-19 11:08
科技成果只有转化为实用性技术,才能推动发展新质生产力,才能释放出驱动创新的力量,也才能推动构建现代化产业体系,为实现高水平科技自立自强和高质量发展提供有力支撑。
2024-04-19 02:45
自生成式人工智能(AI)程序,如ChatGPT发布以来,何时及如何利用它撰写研究论文成为人们争论的焦点。
2024-04-19 10:08
4月19日,清华大学基础医学院教授程功团队与合作者在《科学》发表论文,提出了一项阻断蚊虫传播传染病的新策略。
2024-04-19 10:07
量子光源芯片是量子互联网的核心器件,可以看作点亮“量子房间”的“量子灯泡”,能让互联网用户拥有进行量子信息交互的能力。
2024-04-19 09:50
在山西省翼城县,通过政府搭台,构建科企合作机制,普查新发现的爆裂玉米种质资源“珍珠玉米”加快了品种开发步伐。
2024-04-19 09:48
17日,国新办举行新闻发布会解读当前经济形势和有关政策。“我国新型低空飞行器呈现蓬勃发展态势,特别是信息通信、北斗导航、高精导航等新技术广泛应用,一些企业的自动驾驶技术也不断进步。
2024-04-18 10:17
2022年底,清华环境研究院携手苏州嗨森无人机科技有限公司,合作开发了基于无人机的挥发性有机物精准溯源技术。”  截至目前,清华环境研究院已经取得了600多项知识产权,通过技术作价入股方式转化了30多项清华大学专利,形成了25支研发团队、51家孵化公司。
2024-04-18 10:16
2023年,生成式人工智能在全球范围爆火,引发了人工智能领域新一轮的科技竞赛。“大模型为通用机器人提供强大的能力,人工智能可以将运算、感知、认知、决策、创造等各类智能集成应用在机器人平台上。
2024-04-18 10:14
“总体来看,今年论坛聚焦人工智能、生命科学、新材料等科技前沿领域,以及碳达峰碳中和、医疗健康、清洁能源等民生科技领域。“北京国际科技创新中心建设的突出成效体现为‘六个创新跃升’和‘五个全球前列’。
2024-04-18 10:11
新能源目前主要指光伏发电、风力发电以及二次能源如氢能等。风和光都是自然资源,取之不竭,用之不尽。
2024-04-18 10:10
广西中医药研究院中药资源团队在开展全国第四次中药资源普查和广西第一次林草种质资源普查中,发现石山油桐、美脉假糙苏、线叶度量草、广西割舌树、洞生香草、广西肺筋草6种高等植物新物种。
2024-04-17 09:10
2023年我国公民具备科学素质的比例达到14.14%,这一最新调查数据意味着什么?对我国经济和社会发展有何重要意义?与世界主要发达国家20%~30%的公民科学素质水平相比,我国公民科学素质仍有不小差距,未来提升公民科学素质,还有哪些挑战?
2024-04-17 09:39
从国家知识产权局获悉,《2023年中国专利调查报告》近日发布。报告显示,2023年,我国发明专利产业化率达39.6%,较上年提高2.9个百分点,连续五年稳步提高。
2024-04-17 09:38
绿色是生命的象征、大自然的底色,良好生态环境是美好生活的基础、人民共同的期盼。
2024-04-17 09:38
中国科协16日发布第十三次中国公民科学素质抽样调查结果。结果显示,2023年我国公民具备科学素质的比例达到14.14%,比2022年的12.93%提高了1.21个百分点,我国公民科学素质呈现提速增长趋势。
2024-04-17 09:37
施工人员在做桥梁前移施工准备。呼兰河上,桥墩破冰器分外醒目;庆安制梁场的智能化保温棚内,一榀榀桥梁在蒸汽中凝固成型;哈伊高铁全线建成通车后,将不断满足广大群众的出行需求,为加快建设我国向北开放新高地贡献力量。
2024-04-17 09:49
近日,中国科学院理化技术研究所研究员王树涛、副研究员时连鑫团队研发出新一代针对黏性渗出液,如糖尿病足渗出液的单向导液伤口敷料。该研究为高黏性渗出液引起的伤口愈合困难问题提供了可行的解决方案,在医用敷料、渗液管理等领域具有广阔应用前景。
2024-04-17 09:40
作为一种新兴的林业信息化科技创新手段,智慧林业需要加强顶层设计,统筹指导与管理。回顾智慧林业的发展历程,我们不难发现,智能化革新已经成为现代林业发展的重要标志。
2024-04-16 10:15
习近平总书记指出“科技创新能够催生新产业、新模式、新动能,是发展新质生产力的核心要素”,同时强调“强化企业科技创新主体地位”。从内涵及本质要求来看,新质生产力由“技术革命性突破、生产要素创新性配置、产业深度转型升级而催生”。
2024-04-16 10:14
加载更多