products
产品中心
Contact Us
联系我们
地  址: 成都二环路北三
段191号亿家年华商务楼

服务热线 :
     028- 83326980
     028- 83388002  
     028- 81131334

 Q    Q
        100600618 
       130600908

电子邮箱:
   100600618@qq.com  
 
130600908@qq.com
你现在的位置:首页 > 产品中心产品中心
解析动漫中的“日式视觉言语”:人工智能怎么读懂二次元?
更新时间:2024-10-11 11:41:10   来源:江南体育网址 字号:T|T

  现在现已有人开端运用AI研讨动漫里萌萌哒的视觉言语了。加州大学圣迭戈分校的Neil Cohn和Sean Ehly两位学者对日式视觉言语中的“词素”进行了描绘与分类,而且剖析了1997年到2012年最受欢迎的10本男生向漫画和10本女生向漫画,包括《火影忍者》、《进击的伟人》、《妖精的尾巴》等。

  那些日子在漫画二次元国际中的人,他们的日子是怎样的?色迷迷盯着美人时,他们的鼻子会流血;安稳睡觉时,他们的鼻子上又会呈现气泡。一旦二次元漫画人物心情高涨,他们就会敏捷变得反常“卡通化”,就像下图这样——

  (日本漫画中的代表性心情“视觉言语” 图片来自:Visual Language Lab)

  即使不认识图中的英文,看过日式动漫的人想必也必定能了解这些卡通图画的意义。这些长久以来约好俗成的漫画元素被称作“视觉言语”,流血的鼻子和鼻子上的气泡等则被视为“视觉词素”。

  人类运用口头或书面言语来交流,一起也会运用视觉图画,例如绘画。但运用视觉进行交流有其特殊性。首要的一个问题是,咱们说白话,那么咱们画()?

  今世的言语与认知理论给出的答案正是“视觉言语。”实证也标明,人们在处理视觉信息时,大脑的神经反应与处理白话语句相似。和白话相同,视觉言语也分为多个语种,这与各地区的文化差异有关。

  在东亚盛行的日式漫画建立在“日式视觉言语”上,它们与美式漫画或法度漫画差异极大。“日式视觉言语”仅仅一种总称,我国与韩国的许多动漫也具有这些元素。别的,“日式视觉言语”也并非只呈现在动漫中,它早已进入到东亚青少年的日常日子,你在QQ或微信上必定被相似下图中的表情萌到过。

  为了研讨这种视觉言语,加州大学圣迭戈分校的Neil Cohn和Sean Ehly两位学者对日式视觉言语中的“词素”进行了描绘与分类。为此,他们剖析了1997年到2012年最受欢迎的10本男生向漫画和10本女生向漫画,包括《火影忍者》、《进击的伟人》、《妖精的尾巴》等著作。

  运用AI范畴的图画辨认与自然言语处理技能,他们分类了日本漫画中约好俗称的73个图形形式,下面就是其间的12种。他们还发现,视觉言语在男生向漫画与女生向漫画并无明显差异,只要10种只呈现在某一类漫画里。他们的论文将宣告在2016年新一期的《语用学杂志》(Journal of Pragmatics)上。

  (雷锋网萌萌哒二次元记者友谊补白:男生向就是后宫向,男主自带主角光环,一切女孩子都喜爱他一个人,其他男二男三都没人爱;女生向就是耽美番,里边满是男的,各种搞基卖腐,或许像月刊少女野崎君那样的纯爱番,男主蠢萌,女主各种追。这种狗血剧跟韩剧有些相似,但没那些要死要活的,只要卖萌。)

  长久以来,人工智能研讨者的愿望就是让电脑等机器“懂”人类的言语。AI和言语学穿插,形成了自然言语处理这一分支。现在,机器现已可以根本“听懂”人类的言语,自然言语处理早已进入普通人的日子。

  以语音查找与辨认为例,依据德勤的陈述,Google在2014年将语音辨认的精准度从2012年的84%提升到现在的98%,移动端Android体系的语音辨认准确性提高了25%。而在2015年5月,微软宣告实时翻译东西Skype Translator面向全用户敞开预览版,它能主动翻译不同言语的语音通话和即时通讯音讯。未来,科幻电影《星际迷航》中的“万用对讲机”很可能变为实际,各个地区之间的言语障碍将不复存在。

  可是人类还一起运用其他“言语”交流,例如面部表情。尽管图画辨认开展敏捷,了解人类的表情或心情关于机器来说依然困难。

  现在,机器现已可以辨认人脸等图画,近年逐步鼓起的深度学习技能更是让图画辨认有了巨大腾跃。

  2014年,4位Google深度学习科学家宣告了一篇题为“Show and Tell: A Neural Image Caption Generator(NIC,神经图片标题生成器)”的论文,展示了神经网络为图片自主拟出标题的技能。NIC堪与图片修改比较,是一项包括视觉和言语要素的大型试验。其特殊之处在于,它将可视化图片的学习体系建立在神经网络的基础上,而后者可以用自然言语造句。

  下一步,凭借着人工智能的开展,机器或许将可以很好地了解人类的面部表情等心情表达。许多学者觉得,要将自然言语处理拓宽到视觉言语,首先要弄懂这种“言语”的根本“词素”。

  运用各种视觉元从来展示情节与心情的漫画无疑是个很好的载体。怎么机器可以预先知道漫画的典型视觉“词素”,也能辨认出对话等文本,那么“看懂”漫画就指日可下。终究,人类的各种表情与心情也难逃机器高眼,一个能看懂你的小冰或许Siri莫非不更聪明心爱吗?