北晚新视觉 > 新闻 > 今日主打

北工大师生研发“画互动展示平台” 《清明上河图》响起开封话

2017-01-19 11:04 编辑:TF005 来源:北京晚报

2017年1月19日讯,当一幅8米宽、2米高的《清明上河图》在你眼前缓缓打开,你不仅能看到用细腻的笔触描绘出的北宋都城熙熙攘攘的市井万象,还能听到用当时标准的“官话”——河南话吆喝的叫卖声、喝酒聊天声;忽而画风一转,你又来到了南唐名臣韩熙载的府上,亲历主人大宴宾客、观舞赏乐的热闹场面……

如今这套平台已经在故宫端门城楼上的“数字展厅”中亮相,吸引了大量游客驻足观赏

《韩熙载夜宴图》,画面环境挪到了室内,信息点无疑少了许多,但要解决的问题依然不少

这可不是穿越剧。带给你如此身临其境视听享受的是北京工业大学师生研发的“古画互动展示平台”。该平台通过一系列精密算法,加入声音、真人舞蹈等一系列互动体验元素,让经典古画“动”起来。如今这套平台已经在故宫端门城楼上的“数字展厅”中亮相,吸引了大量游客驻足观赏。

用现代科技“唤醒”古画

北京工业大学信息学部计算机学院副教授马伟——一位80后美女,是这个互动平台项目的技术负责人。来北工大之前,她在北京大学信息技术科学学院从事智能科学的学习和研究。按理来说,她的研究领域与古画、文物这些“文化人的活儿”风马牛不相及,但是读书期间,一次参与“龙门石窟的数字展示”项目的机会,为她打开了古典艺术世界的大门。2009年,从事博士后研究期间,马伟有幸作为技术骨干,参与到故宫博物院、微软亚洲研究院和北京大学三方合作的古画展示项目中,“穿越千年品味历史,体味那个年代的风土人情、艺术审美,感觉自己的境界也会得到提升。”她对记者说。

2012年,马伟加入北工大计算机学院。除了积极投入本科生教学以外,她还从事计算机视觉、文化遗产数字化等方面的研究。同时作为负责人,她还承担了一项名为“中国传统画数字展示算法研究”的国家自然科学基金青年基金课题。她所从事的研究也在行业内逐渐有了知名度。

2014年,故宫博物院找到了马伟,希望能通过多屏投影仪拼接等数字技术,让故宫里珍藏的古画“活起来”。作为国家顶尖的博物院,故宫保存了大量的国宝级文物,单单以古画为例,就有五代画家顾闳中的《韩熙载夜宴图》、北宋画家张择端的《清明上河图》等知名画作。尤其是《清明上河图》更为民众所熟悉,2015年9月故宫时隔10年将《清明上河图》向公众亮相,一天就吸引了超过8000人排队参观。

马伟接下了这项任务。现在回想起来,她说当时就是觉得能够通过技术手段,让民众可以身临其境、原汁原味地感受国宝珍品的艺术水准,体味千年前古城的风土人情、居家生活,特别有意义。加上有清华美术学院的老师们实施设计,有故宫博物院的全方位支持,她有信心完成好这项任务。

让《清明上河图》“动起来”

领下了任务,马伟带着学生们一起开始全力攻坚克难。原汁原味、身临其境,这样的要求说起来容易,做起来可就难了。故宫先后推荐了《韩熙载夜宴图》、《清明上河图》两件经典作品,前者反映的是朝廷重臣的居家生活,后者则体现了大国都城的市井气息,一个精细而雅致,一个朴素但又丰富。要真实再现,其中一大难点就是整个系统的数据量。

马伟说,以《清明上河图》为例,经过扫描成电子版后,整件作品设置了50个可供参观者放大细节进行品味的信息点,这样一个信息点就需要800张图,每张图的数据量是5MB。这样一来,50个信息点就需要200G的数据量。加上背景音乐、解说等,整个《清明上河图》的互动展示,一共需要大约300G的数据量,“这么大的数据,要流畅运行,对系统的算法绝对是巨大的考验。”另外,为了让《清明上河图》在互动展示中能够原汁原味展现当时北宋都城开封的市井风貌,马伟他们还加入了商户叫卖、路人交流的环境音,“都用的是河南开封话。”

至于《韩熙载夜宴图》,画面环境挪到了室内,信息点无疑少了许多,但要解决的问题依然不少。如何用最有效的元素体现出一个重臣家庭大宴宾客的氛围,把饮酒、赏乐、观舞等环境表达出来?素材方找来了著名的古典乐舞剧团“汉唐乐府”,录下了她们模仿南唐时期翩翩而起的舞蹈。马伟他们要做的就是把古舞流畅地融合进电子版的画作中。

从2014年一直到2016年,一共有三届学生跟着马伟一起攻坚克难,解决一个又一个问题,熬夜是家常便饭。有学生告诉记者,有一段时间项目组的同学们在校外做调试工作, 由于当时时间有限,加上调试现场硬件条件不足,只能将投影仪当作显示器使用,同学们面对着超大屏幕调试程序,事后大家开玩笑称这是有史以来写代码面对过的最大的显示器。

三维场景展示“古朝夜宴”

在采访中,马伟展示了经过后期开发的电子版《清明上河图》、《韩熙载夜宴图》,高质量的画面、音效完全实现了“原汁原味”、“身临其境”的最初目标。

在《清明上河图》的场景中,除了我们最熟悉的“虹桥”(一艘大船通过桥下)情景外,还有客商骑驴沿着河边行走的情景。画面不断放大,客商匆匆赶路,希望在天黑前进城的焦急表情都清晰展现。欣赏着整幅画面,耳畔不断传来街市上叫卖、吆喝的开封话,恍如穿越千年,回到了北宋的开封城。

换到《韩熙载夜宴图》,展现的则是虚拟漫游的三维场景。通过听琵琶、跳歌舞、宾客小憩、听多人吹奏以及宴后送别等5个场景,全过程展示了一场南唐时期的大臣家宴。整个家宴的三维画面包括原画、重新演绎的弹奏琵琶以及舞女翩翩跳起南唐古舞,观众既能够欣赏高清晰的原画,又能体验韩熙载夜宴上的歌舞与热闹。相比以往只能平躺在展柜中进行展示的藏品,这里的古画变得活灵活现起来,同时也让参观者能够“身临画中”,感受画中的意境。

马伟说,正式投入使用前,他们把这些作品的电子版反复地在故宫的那台宽8米、高2米的巨型显示屏上测试过,均可以流畅播放。

未来还可体验“秉烛夜游”

记者了解到,整个项目从技术攻关到设备调试,学生队伍发挥了重要的作用,“我做指导,但也鼓励他们大胆开展创新。”马伟说,实践证明这大大提高了学生利用所学知识解决实际问题的能力,而这些是课堂上理论学习很难学到的。

到目前已经有前后三届学生参与这个项目,很多同学在从北工大毕业后都有很好的去处,如2011级刘硕同学被加拿大英属哥伦比亚大学录取,2010级杨璐维同学被加拿大西蒙菲莎大学录取,2011级赵明同学被澳大利亚悉尼科技大学录取,2012级王求元同学被保送到北京大学信息科学技术学院继续深造。

如今虽然《清明上河图》与《韩熙载夜宴图》已经在故宫端门展示,但马伟带着学生团队的技术研发还远未终止,他们还在不断优化古画数字化的视觉展示效果。马伟说,以《韩熙载夜宴图》为例,他们将进一步攻克技术难题,比如优化三维模型的构建,加大互动体验的效果,让观众能够身临其境地“秉烛夜游”整个宴会的每个环节,“比如我们会加入光影效果的变化,观众从一个厅‘走’到另一个厅,烛光的明暗就会发生变化,歌舞声音的远近也会不同,就像是真的在贵族府邸走厅穿堂,感受一场无与伦比的歌舞盛宴。”

 

来源:北京晚报 北晚新视觉网  记者 张航 通讯员 张宇庆 文并图

相关阅读

北晚新视觉网版权与免责声明:

一、凡本站中注明“来源:北晚新视觉网或北京晚报”的所有文字、图片和音视频,版权均属北晚新视觉网所有,转载时必须注明“来源:北晚新视觉网”,并附上原文链接。

二、凡来源非北晚新视觉网或北京晚报的新闻(作品)只代表本网传播该消息,并不代表赞同其观点。

如因作品内容、版权和其它问题需要同本网联系的,请在见网后30日内进行,联系邮箱:takefoto@vip.sina.com。