色彩科学正在颠覆我们与屏幕的关系
4480字
2021-03-30 07:31
0阅读
火星译客

剑桥学者与配色游戏之间的合作正在帮助解释人与屏幕显示器之间的界面,这对我们的数字未来具有重大意义

您在手机上看到的第一件事是程式化的移液器。 顶部的橡胶灯泡略微反射光,在单词“ SPECIMEN”中形成“ I”。 当您观看时,纯色的液体轻点笔穿过电子管并形成带有“ PLAY”字样的水滴。 轻按它,您将发现自己沉迷于游戏中,最终可能会帮助我们了解人们对颜色的感知方式,并更改图像在电池供电的任何设备上的显示方式。

随着游戏的发展,标本是最小的。 有一个深色的培养皿,里面装有各种斑点状,斑点状的“标本”。 玩家必须轻拍与鲜艳的背景完全相同的色相,饱和度和亮度的斑点。 敲打错误的标本,或者由于计时器耗尽而犹豫,您将失去生命。 正确处理后,blob会像派对气球一样弹出,并且您会得到with谐的旋风奖励。 
 

前几轮很容易。 背景可能是淡黄色,在碟子中只有一个黄绿色标本。 轻敲。 流行音乐。 简单的。 进了几轮,这是恶魔般的:标本成倍增加,时钟加速,并且在茄子,紫罗兰,紫水晶和李子的同龄人之间隐藏着正确的尘土色的damson阴影。

它既有趣又疯狂,令人上瘾:适合色彩爱好者的游戏。 这对游戏创作者Erica Gorochow,Sal Randazzo和Charlie Whitney来说很重要-您希望人们玩您的游戏,很显然⁠-但他们还有其他动机。

Gorochow和Randazzo于2014年提出了这个想法(几个月后,惠特尼使该团队更胜一筹),而Gorochow则参加了位于曼哈顿的艺术,设计和技术交汇处的孵化器NewInc。 兰达佐(Randazzo)刚从意大利休假一年回来,决定放弃电影和动画图形,转而支持编程。 他成为技术负责人,从事编码工作,并决定收集哪些数据以及如何收集。 惠特尼(Whitney)是一位艺术家兼程序员,他从事视觉力学工作,尤其是斑点在培养皿中的移动方式。 (这是一个严峻的设计挑战。“它们非常像果冻,并且对它们具有一定的粘性,” Randazzo解释说:“我仍然不知道Charlie是如何做到的。”)Gorochow负责设计和概念, 并像项目经理一样,在第二年的七月启动日期保持一切正常。

他们的指导原则是创造一款极简主义的游戏,以吸引像他们这样的人:在图形和视觉效果方面具有专业知识的设计师。 Gorochow在布鲁克林的电话中对我说:“这件事令人恐惧,因为它可以是任何东西。”

罗斯·皮尔金顿

他们将颜色制作成标本,是因为设计师倾向于沉迷于色彩,还因为NPR播客Radiolab的一集出现在Gorochow的脑海中,她无法动摇色彩。她了解到,我们的彩色观察能力取决于我们眼睛中的感光锥体细胞,它们对可见光谱中不同波长的光做出反应。大多数人是三色性的,这意味着他们有三种类型的视锥细胞,可以看到大约一百万种颜色(大约8%的男性和0.5%的女性是色盲的,这通常意味着它们只有两个功能齐全的视锥细胞。但是,一小部分妇女的基因突变使她们有了额外的第四类视锥细胞。所谓的四色体理论上可以看到大约1亿种颜色,从而区分我们其余人只能想象的彩虹段。但是,当这些细胞中的信息在大脑中处理时,即棘手的事情,即感知而不是视觉⁠发生了,这就是发生的情况。

Gorochow希望标本收集的数据可能以某种方式有助于充实人类色彩感知的局限性。 但是尚不清楚如何做到这一点。 您需要收集哪些数据? 该团队不知道,也没有想问任何在该领域工作的科学家。 最后,其中大部分是猜测。 对于负责对数据收集进行编码的Randazzo来说,实用性转而支持收集而不是减少收集。 “我当时想:'跟踪平台是免费的分析工具,我们不根据存储的数据付费,而要花五分钟的时间来添加,因此,我们可以对其进行跟踪,'” 说。

他们为iOS确定的标本版本记录了用户正确和不正确点击的RGB值(颜色中的红色,绿色和蓝色的光量)以及其他匿名化的其他数据,包括他们所在的国家/地区 他们决定不收集有关年龄和性别的信息,因为这需要选择加入,并且感到不对劲。 “我们不想变得令人毛骨悚然,” Gorochow说。 也许最有用的是,该游戏记录了玩家选择的LAB颜色值。 这些行为就像在彩色地图上的坐标一样,提供了一种精确测量用户错误点击次数的方法,这有点像知道是否有人试图去巴黎,是否会在兰斯或瓜拉购得东西。 吉隆坡

当人们玩耍时,他们在不知不觉中提供了丰富的见解,以了解他们在区分色调,色调和阴影方面的表现如何。 Gorochow认为标本有点像仁慈的特洛伊木马:“具有智能内核的令人上瘾的游戏”。

 该游戏于2015年7月如期推出。它登陆了多个国家/地区的应用商店的首页,并且在第一周有100,000人下载了该游戏。 从来没有像现在这样风靡一时,但是自那时以来,全世界有290,000多人参加了大约150万场会议,贡献了将近6000万次点击,并提供了所有与会者的信息。

发布之后的几天,Gorochow,Randazzo和Whitney意识到,色彩感知数据正在形成一个深度迅速扩展的海洋-并且,在进行分类,分析和理解时,它们已经超出了深度。

菲利普·斯坦利·马贝尔

Mads Perch

菲利普·斯坦利·马贝尔(Phillip Stanley-Marbell)享年40岁,对人害羞,是剑桥大学的助理教授兼图灵研究员。 他身材矮小的,戴着琥珀色的圆框眼镜,在电气工程部门的办公室里工作,看上去和您想象的完全一样。 架子上堆满了书籍; 他的办公桌和桌子上有工具箱,电线和电路板的回路,其大小与玻璃小瓶中指甲的大小相同。 Unicode字符的羊皮纸彩色打印输出钉在墙上。 斯坦利·马贝尔(Stanley-Marbell)经常微笑,并以缓慢,敏锐的精确度⁠轻声说话⁠–常常回过头来纠正或限定陈述⁠–使您感到自己好像在不同的智力水平上工作。 您正在抓紧护目镜,然后放下钢锯; 他拿着一把镶有钻石的手术刀。

 斯坦利·马贝尔(Stanley-Marbell)已走过很多地方–德国,荷兰,瑞士,加纳和北美。 他有一个口音,但不能放置。 当我问时,他告诉我他不希望给予国籍。 他开玩笑说:“到处我都感觉不舒服。” 他的大部分职业生涯都在学术界度过,但他也曾在工业界工作,从2008年到2012年,他在苏黎世的IBM工作了四年,然后才移居到加利福尼亚的库比蒂诺,在苹果公司工作到2014年。 他在那里所做的事情,但他试图给出一个提示。 他说:“操作系统位于应用程序之下,在硬件之上。” “而且我在Apple部门负责在应用程序之下和硬件之上的各种工作。” 不过,目前,屏幕吸引了他的注意。

近距离观察时,有机发光二极管(OLED)颇具吸引力。 您在屏幕上看到的图像的每平方毫米都由像素组成,每个像素又由子像素组成。 这些亚像素⁠–发光的红色,绿色和蓝色(RGB)形状的镶嵌⁠–产生了您在数字显示器上看到的所有阴影。 当斯坦利·马贝尔(Stanley-Marbell)在显微镜下的屏幕上将手机和with嘴狒狒的照片放在屏幕上时,我们陷入了特隆启发的音乐剧中可能是舞池的场景。 重复的序列⁠–垂直的红线,两个绿色的点相互挤压在一起,然后是较短的蓝色菱形表⁠-在黑色背景上发光行进。 不同的制造商倾向于不同的子像素组成。 当我们仔细检查另一部手机时,形状会改变。 在这里,子像素的间距更宽且更方正,蓝色几乎是绿色的两倍。

它看起来似乎很抽象,但是屏幕的物理组件(子像素的排列)负责创建我们用来访问数字世界的界面。 颜色描绘了我们在银行应用上按下的按钮,并形成了用于标题和评论的字体。 每当我们观看电影,浏览新闻源,点击Instagram帖子上的“赞”或确实键入文章时,都是屏幕亚像素之间经过精心设计的编排,产生了我们所看到的一切。

斯坦利·马贝尔(Stanley-Marbell)的unicode打印输出

Mads Perch

所有颜色都是通过调整从红色,绿色和蓝色子像素发出的光来创建的。 如果将它们全部调到尽可能高的亮度(RGB 255 255 255),则像素将显示为白色,因为您眼中的细胞正在拾取所有波长并“混合”它们。 这称为添加剂混合。 (相反的减色混合最好通过在红色,蓝色和绿色的油漆周围旋转并观察不同的颜料各自吸收或“减去”光波长,从而防止它们反射到您的眼睛中而得到的结果来说明。) 关闭所有子像素,您将得到黑色(RGB 0 0 0)。 通过改变每个子像素的强度,可以产生数百万种颜色。 例如,一个完全供电的红色子像素(R 255),一个四分之三供电的绿色(G 190)而没有蓝色(B 0)会给您带来蛋黄黄色。 打开蓝色到四分之三的强度,您将获得Pepto Bismol粉色。 熄灭红色:薄荷蓝绿色。

斯坦利·马贝尔(Stanley-Marbell)在实验室里,被一架无人驾驶的飞行笼子和一排排显微镜包围着,这是他发挥最大能力和创造力的工具。 他从根本上着迷于硬件和软件之间的接口。 他通过创建原型以更好地理解显示器的物理特性和人类对它们的感知,对改进计算进行了深刻而创造性的思考。 正是这块基岩将他引向了混乱,生动的色彩世界,后来又引向了标本。

他后来成为荷兰埃因霍温科技大学的博士后研究员,于2006年底播下了后来发展为Crayon项目的想法的种子。 当时,OLED显示器正在引起嗡嗡声,这是LED或液晶显示器(LCD)的下一步发展。 目前,它们仍然仅限于高端或旗舰设备,例如X以后的iPhone机型和最新的高档电视,但是技术行业的假设是OLED将在不久的将来取代LCD。 OLED像素无需像其他屏幕中的红色,蓝色和绿色像素那样背光,而是产生自己的光:因此在显微镜下可以像Tron一样显示。 使用该技术的屏幕可以更薄,更节能,显示更清晰的图像。

Mads Perch

一如既往,需要权衡取舍。 其中之一与颜色有关。 “当时的许多商业文档中都会有一段基本上是说,'当心,功耗会根据颜色的含量而有所不同,” Marbell-Stanley说。 他设计了一些硬件以进行进一步的研究,但这是一个附带项目,并且除了确认显示不同颜色的确确实使用了不同级别的电源外,他所做的工作并不多。 自2008年移居IBM以来的六年中,OLED及其色彩怪异被委派到他的精神阁楼上。 但是,当他回到学术界时,首先是在麻省理工学院,然后在剑桥,他除掉了自己的旧项目,然后重新开始工作。

OLED中的“有机”是指产生红色,蓝色和绿色光的不同化合物。 这些化合物的发光效率和老化速度不同。 通常,它们老化的时间越长,需要更多的电流来产生相同的亮度,这会使它们进一步退化。 亚像素的健康和效率对电池寿命产生了深远的影响。 当然,它的变化取决于屏幕的亮度和显示的图像,但是屏幕占手机耗电量的四分之一到一半并不罕见。 这也对未来的数字世界产生了影响。 
 

Stanley-Marbell说:“在最亮的时候,蓝色子像素比绿色或红色像素需要更多的电流,并且老化速度更快。” 因此,从理论上讲,我想问一个想让屏幕保持最佳状态的效率最高的电话用户,可以避免显示蓝色很多的图像吗? “那是正确的,”他说。 我们俩都低头看着我用来记录谈话的电话,在屏幕保护程序上,我穿着牛仔布的丈夫抱着我们的小狗在淡淡的诺福克海滩上,背后的海蓝色渗入天空。 
 

斯坦利-马贝尔分析亚像素的模式。

Mads Perch

斯坦利·马贝尔(Stanley-Marbell)在麻省理工学院的计算机科学和AI实验室工作时,于2015年12月突然发了电子邮件给Gorochow,Whitney和Randazzo。 他解释说,由于对颜色特别是颜色感知数据的兴趣,因此会遇到标本。 然后他开始追逐。 “问题:您愿意共享您的数据,还是愿意以某种方式进行协作?”

Gorochow收到Stanley-Marbell电子邮件的主要情感是兴高采烈:毕竟,她的最初愿景是,这款游戏可能揭示出对色彩感知的隐藏见解。 兰达佐记得自己松了一口气。 “我们当时想,'事实上,我们确实拥有大量数据,但是我们没有处理和理解数据的技能。'”

为了帮助他深入研究标本数据的纠结,斯坦利·马贝尔(Stanley-Marbell)寻求了几位已经知道蜡笔计划的学者的帮助:麻省理工学院的马丁·里纳德(Martin Rinard)和何塞·坎布罗内罗(JoséCambronero),加州大学洛杉矶分校的弗吉尼亚·埃斯特勒斯(Virginia Estellers)。 几乎立即发现了古怪和惊奇。 斯坦利·马贝尔(Stanley-Marbell)开设了一门有关显示器的课程,每年都问他的学生:“人类最敏感的颜色是什么?” 学生们绝大多数都说绿色。 (这也是Randazzo,Gorochow和Whitney所听到的,因此他们确保标本能更频繁地显示玉石,祖母绿,豌豆和薄荷糖。)“至少从标本数据来看,我们最终看到的是色相接近 绿色实际上导致了最多的错误,”史丹利·马贝尔(Stanley-Marbell)说。

数据还支持了一个有趣的发现,这个发现吸引了标本的创造者:玩家之间的差异有多大。 “有些人马上就非常擅长,” Gorochow回忆道。 其他人碰壁。 无论他们多么努力,无论他们拍了多少标本,他们似乎都无法进步。 “那些受苦的人会变得更好,但很明显,谁有天赋。”

数据还支持了一个有趣的发现,这个发现吸引了标本的创造者:玩家之间的差异有多大。 “那些受苦的人会变得更好,但很明显,谁有天赋。”

Mads Perch

贾斯汀·吉尼亚克(Justin Gignac)以了解自己的颜色而自豪,他是更有才华的球员之一。 当我要求与游戏中最专注的玩家之一交谈时,Gorochow通过电子邮件向我们介绍了该游戏。 Gignac是纽约的创意总监和艺术家,是一家名为Work Not Working的设计师和创意总监招聘公司的联合创始人,并且自2001年以来,出售了1,300多个垃圾箱。 手工挑选并排列在Lucite立方体中的York City垃圾”⁠–介于$ 50到$ 100美元之间。

他拥有诸如《标本》这样的游戏的形式,这些游戏可以测试和奖励创造力。 “有一个字距调整游戏[Kern Type,您在其中重新分配字母之间的间距以达到美学上令人愉悦的效果],而我得到了99%的回报。” 他对标本着迷了几个星期。 他说:“这是一个很好的挑战。” “您可以使用某些技术,例如关注培养皿外边缘最靠近背景的斑点。” 但是随后发生了一件了不起的事情:他完成了从“阿尔法”到“泽塔”的所有六个关卡,成为比赛的第一人。

与戈罗克豪(Gorochow)一样,吉尼亚克(Gignac)并没有将其归因于天赋。 他告诉我,他的高中美术老师是如何使用小而平的画笔在课后课中使用100个正方形的网格使他的班级油漆颜色渐变的-每个正方形仅比其旁边的正方形稍浅或偏红或偏灰。 “太无聊了,”他说。 “ [但是]您绝对可以训练自己,以更准确地看到颜色。 您将了解到仅添加最小量的颜料会如何极大地影响结果。” 
 

斯坦利·马贝尔(Stanley-Marbell)和他的合作者对标本数据在地理上的分类情况感到惊讶。 自19世纪中叶以来,关于语言与色彩感知之间的关系的争论一直很激烈。 自1960年代以来,这才变得更加根深蒂固。 伦敦大学金史密斯学院的蒲公英心理学教授朱尔斯·戴维多夫(Jules Davidoff)说:“这有点像英国脱欧。” 他从事色彩感知研究已有二十年了。 “观点非常坚定。”

广泛地,讨论集中在一个问题上,即是否可以将颜色分为11种基本阴影⁠–粉色,橙色,黄色,蓝色等⁠–某种语言是否较少意味着不同,或者根据不同的颜色对颜色的理解不同 在文化上特定的因素上。 例如,纳米比亚的辛巴族人使用五种颜色类别,以英语使用者难以理解的方式进行划分。 “并不是他们看到的是一种不同的颜色,”戴维多夫解释道。 “色彩视力在很大程度上取决于您眼睛中的感受器(尽管视个体而异)。 变化的是,如果不同的颜色具有相同的名称,则您会看到它们更相似。 而且,如果您没有颜色的用语,则会影响您对颜色的理解。”

斯坦利·马贝尔(Stanley-Marbell)电话上的狒狒图片

Mads Perch

如今,说不同语言的人的想法或见解不同的想法是有问题的。 也许正因为如此,只要我们的讨论在该地区附近进行,斯坦利·马贝尔就会感到不安。 我很明显地跟进了他对果岭的启示:我们在哪里犯最少的错误? “最准确的是红色。 但是话又说回来,他称之为“红色”……。 “我宁愿给你展示一个情节并说'这里',而你是否称其为红色是主观的。”

数据中还存在其他限制和复杂因素。 麻省理工学院的博士生坎布罗内罗(Cambronero)与史丹利·马贝尔(Stanley-Marbell)合作完成了该项目的这一部分,他回忆起游戏的全球化程度被“吹牛”了。 “人们在日本,中国,埃及,挪威和芬兰都在玩它。” 但是,在某些国家(美国,德国,中国),该游戏的玩家肯定比其他国家(突尼斯,匈牙利,卡塔尔)多。 然后还有关于电话型号,光线条件甚至文化习俗的问题。 斯坦利·马贝尔(Stanley-Marbell)警告说:“在荷兰,我经常看到人们骑自行车和发短信。 “所以可能是有人骑着自行车玩标本。 那么,您是否获得有关人们骑自行车时的反应的统计数据,或有关居住在荷兰的人们的统计数据?”

适当地发出警告,并牢记这些警告,数据(在撰写本文时尚未发布或经过同行评审)确实表明标本玩家之间存在一定的地域差异。 用户准确度的中位数介于83.5%(挪威)至73.8%(⁠沙特阿拉伯)之间,标准差分别为5.98%和13.02%。 在斯堪的纳维亚半岛,玩家似乎特别擅长于识别我们可能称之为红紫色的东西,印度和巴基斯坦的用户为此而苦苦挣扎。 新加坡的那些比没有那些的具有更好的识别带有强烈黄色调的绿色的能力。

在斯坦利·马贝尔(Stanley-Marbell)和他的团队的专业知识领域之外,要完全了解这一点是不可能的。 毕竟他们是计算机科学家和工程师。 坎布罗内罗对彩色视觉专家研究数据这一方面的前景感到兴奋。 斯坦利·马贝尔(Stanley-Marbell)不太确定。 “我认为人类很难自我学习,”他慢慢地说。 “我认为也许我之所以在工程和物理科学领域的原因是因为我发现其他事情太难了。 通过点点滴滴的原子,我感觉能够对它们更加客观。”

 狒狒图像的清晰度,显示彩色亚像素

 Mads Perch

对于Stanley-Marbell而言,OLED技术的怪癖提供了一个潜在的机会-一项工程挑战,即通过选择更有效的颜色来尝试降低功率。 他认为,调整显示的调色板可能会在节能方面带来非常实际的好处。 他说:“采用三种颜色,其中R接近零,G接近255,B接近零。” “如果碰巧这三种RGB颜色导致不同的用电量,那么也许我们可以利用这一优势。 因此,一个问题将是:人们能否分辨出两者之间的区别?”

Stanley-Marbell已经在制定一个操作系统程序,该程序可以通过降低显示质量来节省OLED设备上的电池。 该程序通过将色彩空间划分为紧密相关的色调,色泽和阴影的组来工作。 每当该组中的任何一种颜色出现在图像中时,同一组中最节能的颜色就会显示在其位置上。 这种方法有效,但是产生的图像与原始图像明显不同。 为了对其进行微调,蜡笔计划(Project Crayon)希望使用一种不太随意的方式将颜色分成几组。

使用标本数据,他们的新套装基于玩家实际认为相似的颜色,而不是根据其他任何衡量指标密切相关的颜色。 “带一些我们可能会说是绿色的颜色和一些黄色。 从RGB的角度来看,这两个人可能并不在附近,但根据游戏数据,它们在人口中的比例相当。 “我们使用来自游戏的数据来构造这些等价集。 然后,基于此,我们研究了如何用同一组中具有较低功耗的另一个成员替换属于这些等效组之一的屏幕上的任何RGB值。”

他们以石原忍(Shiobu Ishihara)(一种用于检测色盲的卵石状测试的创建者)的名字命名为更新的语言石原。 这样可以节省多达15%的电能。

他们探索的另一种途径是为有色觉缺陷的人量身定制的图像压缩工具。 斯坦利·马贝尔(Stanley-Marbell)和坎布罗内罗(Cambronero)确定了一位匿名用户,当目标颜色为橄榄色时,他们会不断拍打群青斑点; 葡萄而不是柑橘黄; 叶绿色而不是洋红色。 对于这样的人来说,他们的设备无法显示无法区分的数千种颜色是没有意义的。 他们致力于解决这一问题的原型DaltonQuant有效地清除了个人无法区分的任何色调。 与目前使用的最佳算法相比,它可以将文件大小最多减少29%,从而使图像加载速度更快。

DaltonQuant有明显的局限性。 为了提高效率,它是单向转换,因此仅适用于您永远不希望共享的内容(例如,图标)。 而且,由于色彩缺陷不是统一的,因此必须非常个性化地进行量身定制-但您无法合理地让所有用户坐下来玩几个小时的标本。

不过,石原和其他Project Crayon计划感到更有希望。 “我的手机已经设置了省电模式,” Cambronero说。 “看来,这应该只是节省电池的一种选择。” 斯坦利·马贝尔(Stanley-Marbell)说,带有屏幕的设备制造商的工作引起了业界的兴趣,但是他无法详细介绍谁或何时做谁。 至于关于颜色感知的其他问题,该数据可用于帮助回答问题,该团队已将数据和分析数据所需的一些工具进行了开源处理。 就Gorochow而言,她非常高兴对于其他研究人员无法使用这些数据。 她说:“创建关于色彩的游戏有点费劲,以帮助扩大我们对色彩的理解。” “这令人难以置信-真是令人难以置信-确实有效。 我只希望[数据]继续落入右手。”

记得我与Gignac的对话,以及玩标本之类的游戏是否有可能使人们对色相,饱和度和亮度的变化更加敏感,我想知道在做他们的工作时,他们是否看到特定用户随时间的变化。 斯坦利·马贝尔(Stanley-Marbell)说,他们还没有调查。 “想到的一个比喻是,我已经开始学习演奏大提琴,以前我不会看音乐,也没有音乐训练。 但是学习自我使我变得更加敏锐,更加敏锐。 因此,从这个意义上讲,扮演标本的人可能会从石原之类的优化中受益较少。”

 他反复思考了一段时间,也许就像我一样,他在想我们可能愿意为一个更快、更高效的数字世界所做的权衡。我们能感知到的数以百万计的颜色中,有多少是我们愿意牺牲的呢?在从剑桥回来的火车上,我播放了几轮样本,并选择了另一张我的家庭照片作为我的壁纸--这张充满了秋天的树叶。我决定跳出天空。

0 条评论
评论不能为空