当前的问题

这篇文章从发行

2018年1月至2月

第106卷第1期
第28页

DOI: 10.1511 / 2018.106.1.28

自中世纪的工匠首次学会研磨可投射光学图像的玻璃镜片和曲面镜以来,此类设备已被用于制造显微镜,暗箱,望远镜和其他仪器,使我们能够更好地看到大小物体,近处和近处。遥远,在地球和太空中。随着摄影术的发明,成像技术的下一次革命发生在19世纪中叶,使光学图像得以永久固定,复制和广泛印刷成为可能。化学摄影的时代即将结束,在第三次革命-数字成像-中逐渐被其所取代,后者起源于电视技术,但最好可以追溯到1975年发明的数码相机。如今,全球手机上数十亿的网络摄像头,数码相机和摄像机每年可捕获超过一万亿张图像,其中许多图像可在互联网上即时共享。在成像系统的数量,种类和用途的显着扩展中,光学设计师的任务在很大程度上保持不变:制作高质量的光学图像,尽可能忠实地模仿场景,即“好。”

然而,在过去的一两个十年中,出现了新的范例,即影像学的第四次革命:计算影像学。尽管这种范例可能无法完全取代传统方法,但它质疑了已有数百年历史的假设,并提供了设计成像系统的替代方法。它带来了新颖的成像功能和形式,包括用于记录宏观物体的超小型成像仪,以及完全避开透镜的显微镜。

计算成像

顾名思义,这种新范式的关键进步是计算在最终数字图像形成中所起的关键作用。当然,长期以来一直使用数字图像处理来改善图像-例如消除闪光灯肖像中的“红眼”或平衡色彩以校正日落时的红色天空-但光学器件的设计从未受到此类需求的影响。但是,数字信号处理可以走得更远,并且可以纠正某些光学缺陷。绕轨道飞行的哈勃太空望远镜在1980年代后期首次将照片发送到地球时,这些图像远比预期的要模糊。很快就发现望远镜光学系统出了点问题。 NASA的科学家诊断出了光学问题,并在修复无人望远镜之前的几年里,设计了复杂的数字处理算法,以通过补偿有缺陷的光学器件的许多影响来校正图像。

图片由Richard R. White提供。

广告权利

在1990年代中期,W。Thomas Cathey和Edward R. Dowski,Jr.意识到,人们可以走得更远:人们可以故意设计光学器件以产生模糊的,“退化的”光学图像,但是以一种特殊的方式退化。数字处理将产生与使用传统光学系统捕获的图像一样甚至更好的最终数字图像。具体来说,他们解决了所有传统相机的特性:景深有限。如果将相机聚焦在中等距离的物体上,则其图像看起来会清晰,但是距离近或远的物体的图像会显得模糊。图像的清晰度可以接受的距离范围称为相机的 景深。 这些科学家设计了一种新型的透镜元件,该透镜元件几乎以相同的方式使各个距离的物体的光学图像模糊。然后,一种特殊的图像处理算法将整个图像锐化,从而有效地将景深扩展到使用传统相机所无法达到的范围。尽管许多小组(包括一个由我们其中一个小组(鹳)领导的小组)已经扩大了这项开创性的工作,但Cathey和Dowski的深刻见识以很少有人能想到的方式推动了计算传感和成像领域。

了解他们的见解的另一种方法是认识到,光学的任务是为计算机而不是人类成像。矛盾的是,在这个看似充满图像的时代,几乎没有人能直接看到由诸如照相机之类的成像系统产生的真实光学图像:摄影师用黑色的布在头上看着相机上的光学图像的日子已经一去不复返了。磨砂玻璃幕,然后再插入胶片板。相反,我们现在查看在计算机,平板电脑或手机屏幕上显示的已处理数字文件的内容。

在这个看似充满图像的时代,很少有人能直接看到由成像系统(例如相机)生成的真实光学图像。

光学和图像处理联合设计的下一个应用是简化镜片的设计。手机相机上的完整镜头可能包含七个或八个组成的镜头元素,而专业摄影师相机上的镜头可能包含15个或更多。需要多个镜片来矫正瑕疵或 畸变 例如光学系统固有的色彩模糊或图像变形,所有这些都会使光学图像看起来“不错”。光学和数字处理的联合设计可以将一些校正像差的负担转移到数字处理上,从而可以在不影响最终数字图像质量的情况下消除一些镜头元件。可以将处理算法视为虚拟镜头元素的一种形式。对于给定质量的最终数字图像,这种方法导致镜头系统变得更小,更便宜。

我们中的一些人问:我们可以将这些想法推进多远?多少成像负担可以从光学系统转移到计算系统?我们如何简单地制作光学器件并仍然可以获得可用的数字图像?我们可以完全省去镜片和曲面镜吗?在过去的几年中,通过三个主要方式实现了这个最后的目标-所有这些方式都避开了镜头以及镜头所产生的传统光学图像。这三种方法基于 衍射,光学相位重建,压缩感测。 所有这些都严重依赖计算来产生最终的,可人类解释的数字图像。

成像衍射

传统镜片通过 折射, 当光线从一种介质(例如空气)进入另一种速度不同的介质(例如玻璃或塑料)时,光线会发生弯曲。折射解释了为什么一支蘸有一杯水的铅笔会在表面弯曲:当铅笔进入眼睛并进入空气时,水下的光线会弯曲。因此,您会看到铅笔的水下部分已移位。弯曲的反射镜(例如大型天文望远镜中使用的反射镜)通过利用 反射。 您在游乐园镜子中看起来扭曲的原因是由于起伏反射镜的反射。可以通过可视化光的方式来理解折射和反射,就像光是沿直线或射线传播一样。

可以使用其他两个物理过程来更改光的传播方向并利用光的波特性: 衍射 干扰。 当两个光波相遇时,它们的波值相加。如果一个波的峰值总是与另一个波的峰值相遇,则这些值会增强,此过程称为 建设性干扰, 产生更多的光。但是,如果一个高峰总是会遇到一个山谷,那么这些波会相互抵消,破坏性干扰—不让光。

通过衍射控制光的常见方法是将光引导到 衍射光栅,通常简称为光栅-表面上的微小脊纹。因为不同波长的光会向不同方向衍射,所以颜色会散布开来;例如,当白光从音频光盘或DVD表面上的微小隆起反射时,这些表面看起来是彩虹色的。由于光栅的波长依赖性,人们无法设计出一种可以简单地代替透镜的光栅。光栅产生的光学图像永远不会比精心设计的透镜产生的图像好。但是,通过适当设计衍射光学器件(利用衍射)和匹配信号处理(针对光学器件),确实可以创建可接受的数字图像。

基于衍射的成像

用于对宏观物体成像的一类无透镜设备依赖于微型光栅,该微型光栅由透明材料(玻璃或硅酸盐)中的厚度台阶组成,该厚度台阶使入射光波的一部分相对于另一部分延迟。台阶的图案表现出特殊的数学特性,这些特性唯一地确保了材料中的光的图案在很大程度上不依赖于光的波长,因此也不依赖于玻璃制造过程中出现的厚度意外变化。这些光栅固定在顶部 光电探测器阵列—非常类似于传统数码相机中使用的感光传感器。场景中的光通过光栅衍射,从而在阵列上产生了一种看起来不像传统图像的光图案-它看起来“不好”,而更像是人眼无法理解的漫反射斑点。然而,斑点包含足够的视觉信息(尽管分布不正常),因此可以通过称为 图片 卷积 .

 

图片由David G. Stork,Aydogan Ozcan和Patrick R. Gill提供

图像重建算法对视觉噪声(例如光子数量的随机波动或将传感器信号转换为数字数量的电噪声)有些敏感 量化误差),等等。结果,最终的数字图像可能看起来有点斑点。尽管此类图像可能满足一系列简单的应用程序(例如,对场景中的人员进行计数),但要形成更高质量的图像可能需要从场景中捕获更多信息。一种简单的方法是使用多个微型相位光栅,每个光栅用于捕获场景中略有不同的信息。每个光栅产生一个分量数字图像,这些分量可以作为一个组进行数字处理,以产生单个更高质量的图像。

图片由David G. Stork,Aydogan Ozcan和Patrick R. Gill提供

这种一般的计算方法可以从成像扩展到传感-估计场景的某些视觉属性,例如人脸的存在与否,场景整体运动的方向和速度(即 视觉流 ),或一个房间中的人数。在这些情况下,设计光栅以提取相关信息,并设计处理算法以适合所讨论的任务。例如,如果感测任务是读取垂直条形码,则应使用本身垂直的光栅,并进行信号处理,首先对数字图像中的每个像素进行阈值处理,以便将较亮的像素转换为白色,而将较暗的像素转换为变黑。此后,可以使用条形码读取算法读取黑白数字图像。

相重建显微镜

制作无透镜显微镜的方法与计算机宏观成像仪或照相机有些不同,但它也依赖于光的衍射。与用于自然光(例如日光或室内灯)的场景的成像器不同,在显微镜下,人们可以使用来自单个或多个光源的相干激光或单色光。在这种情况下,可以控制或设计衍射和光干涉的影响。而且,感兴趣的物体很小,因此衍射来自样品本身,而不是工程光栅。

图片由David G. Stork,Aydogan Ozcan和Patrick R. Gill提供

无透镜显微镜的基本设计要求将标本放置在具有大量小像素的光电探测器阵列的顶部,例如在数码相机中经常使用的10兆像素光电探测器阵列。这样的设计也称为“芯片上”显微镜,因为样品直接位于成像器芯片上。激光或光谱纯色的发光二极管(LED)发出的光穿过样品,并在样品周围发生衍射。这些衍射波包括 物镜 -干扰直接穿过样品的照明- 参考光束 -在称为“过程”的过程中创建由光电探测器阵列感应的复杂干涉图样 数字在线全息术。 该原始光学图像模糊地类似于样品的微观阴影,在某些情况下可用于大致了解目标的数量和位置。但是,该原始全息图像相当模糊,斑驳,包含“环状伪影”,并且与样品的形态并不十分相似。它并不“看起来不错”。

干扰方向图通过多个步骤进行数字处理,但核心步骤是 相恢复算法 它结合了光干涉物理知识,以推断样品中细胞的结构和位置。简而言之,该算法搜索丢失在传感器阵列上的全息图中的样品的光学相位信息(该阵列仅记录干涉图,而不记录单个光束本身的相位)。该算法迭代地寻找最有可能产生检测到的光学干涉图样的目标光束中的相位信息。一旦估计了目标光束的该相位信息,就将其反向计算传播(或时间反转)以推断出目标图像,从而产生最终的数字图像。

 自然

图片由David G. Stork,Aydogan Ozcan和Patrick R. Gill提供

与使用Macroimager一样,可以通过捕获多个光学图像来获得更高分辨率的数字图像,每个光学图像承载的信息略有不同。为此,一种简单的方法是在每次曝光之间稍微移动照明源,样品或传感器阵列。然后,在应用相位恢复和时间反转步骤之前,将得到的单个图像进行数字积分,以生成单个更高分辨率的干涉图像(仍然无法被人眼理解)。

图片由David G. Stork,Aydogan Ozcan和Patrick R. Gill提供

在芯片上实现这种无透镜显微镜工具有几个好处。首先,由于样品直接放置在传感器阵列的顶部,因此可被感测的样品区域(即等效视场)可能非常大,与传感器本身的面积一样大。使用现代的光电检测器芯片可以实现20平方毫米至20平方厘米的视场。其次,无透镜显微镜甚至可以显示透明的物体,只要它们影响穿过它们的光的相位,微小的玻璃珠和水中的大多数细菌也是如此。 (基于特殊透镜的光学显微镜也可以显示这种“相位物体”,尽管在较小的视野和样品体积中也是如此。)第三,光学图像的数字处理可以区分不同的细胞类型并跟踪其运动,例如运动精子细胞或血细胞通过一个小通道流动,提供了对医学和生物学有用的数据。第四,这些显微镜比基于镜头的同类显微镜便宜得多,并且携带方便。它们可以连接到手机上并在发展中国家的农村地区使用,然后图像数据可以发送到世界任何地方,供专业人员进行远程分析。

图片由David G. Stork,Aydogan Ozcan和Patrick R. Gill提供

压缩感测

无镜头成像的第三种通用方法是基于信号的数学和统计方面的最新进展 压缩感测。 传感器上的光学图像只是一个复杂的信号,可以表示为数字列表并进行数字处理。正如可以从大量较简单的声音中构建出复杂的声音一样,每种声音的添加比例取决于所讨论的声音,因此同样可以从许多较简单的图像中构建图像。一组较简单的图像或信号称为 基础。 在声音上,最常见的基础是纯余弦波音调集。无论声音多么复杂(从汽车喇叭到贝多芬交响曲),都可以通过将大量此类基础余弦波加在一起来创建,每个余弦波都具有适当的强度和时间偏移。

图像的相应基础是什么?两种最受欢迎​​和最有用的图像基础集是 二维余弦波 多分辨率小波模式。 这些基本元素在数学上是优雅的,并且是现有图像压缩方案(例如JPEG和JPEG 2000)的基础。您不必发送或存储描述不同幅度的数字文件,而无需存储或发送数字图像中的每个像素值。分量基准信号。因此,“压缩”文件比图像本身小得多。几十年来,这些基础已经很好地为数字图像处理社区服务,但是在很大程度上,它们没有导致新的光学设计原理,因为没有光学元件可以轻松实现任何基础。

图片由Ashok Veeraraghavan提供。

输入压缩感测。统计学家的理论结果表明,只要来自场景的信息是多余的(并且图像是可压缩的),就不需要测量这种数学上优雅的基础,而是可以使用来自适当随机基础的测量。如果有这样的“编码测量”,那么人们仍然可以利用这样的想法,即信号可以在优雅的基本元素(例如余弦或小波)中很好地表示,并通过压缩感测恢复图像。此外,对于一类特殊的新型重建方法,重建图像通常需要比以前认为的少得多的测量。

这种理论上的见解为基于X射线和γ射线成像的早期发展的新型光学设计提供了机会。 编码光圈 (适当设计的透明和不透明区域的固定二维掩模图案),可以潜在地提供一种优雅的方法,将场景中的编码测量值捕获到传统图像传感器阵列上。莱斯大学的Ashok Veeraraghavan和他的同事开发了一种名为FlatCam的设计,该设计包括一个放置在传统图像传感器阵列(见上图)。来自场景的光(在这里是毛绒玩具)穿过(和绕射)该振幅蒙版的透明区域并到达图像传感器。注意,没有透镜,因此不会形成传统的光学图像。取而代之的是,传感器记录了一个复杂的,明显混乱的光图案,其中包含有关场景和蒙版图案的信息。由于该单个图像由几个像素组成,因此这些像素中的每个像素都提供有关场景的不同编码度量。后来,一种数字算法通过利用压缩感测的数学和算法方法,找到了与所有测量结果一致的“最简单”场景。

这种无透镜成像方法有几个明显的优点。传统相机的成本主要由镜头和后期装配来决定,因此从设计中删除镜头可能会导致廉价的相机。此外,包括掩膜和传感器在内的整个相机设计都可以使用传统的半导体制造工艺来完成,从而在可扩展性和成本方面提供了好处。而且,这种重新设计的相机厚度小于0.5毫米,重量小于0.2克,可能在当今笨重的设计受到阻碍的情况下实现新颖的应用。尽管它受压缩感测的启发,但是FlatCam方法允许从单个快照中捕获所有必要的信息,从而实现动态场景信息的实时,视频速率捕获。

变更规则

成像系统的设计人员正在进入一个新时代,在这个时代中,可以利用光学和有形材料的物理原理设计光学元件以及涉及信息无形领域的数字算法。数个世纪以来指导光学设计人员的许多熟悉的原理和非正式的经验法则都被推翻了,包括对透镜和曲面镜或结构化数字基座(例如余弦功能)的需求。我们发现传统的光学图像是如此熟悉和有用,以至于我们一直不愿意将它们更抽象地视为信息。

我们的宏观传感器和成像器的未来方向包括专用光栅和处理算法的设计。例如,如果任务是检测人脸的存在,则光栅本身应尽可能地仅提取指示人脸的视觉信息。另一个有趣的方向是将尽可能多的端到端计算负担放在光学器件上,以减少数字处理步骤,从而减少功耗。在无透镜显微镜中,我们寻求提高空间和时间分辨率,并设计用于诊断特定疾病(特别是困扰发展中国家的疾病)的数字显微镜。

镜片和曲面镜已经为我们服务了好几个世纪,而且很可能永远不会从成像技术中淘汰它们。尽管如此,最近的计算成像范例显示了新的发展方向,导致设备(和成对计算)以新的方式使用这些熟悉的设备,或者完全避开它们。

参考书目

  • Asif,M。S.,A。Ayremlou,A.Sankaranarayanan,A。Veeraraghavan和R.Baraniuk。 2017年。FlatCam:使用编码光圈和计算的薄型无镜头相机。 IEEE计算成像学报 3:384–397。
  • Os。Cossairt,M。Gupta和S. K. Nayar。 2013年。计算成像何时可以改善性能? IEEE图像处理事务 22:447–458。
    • 鹳D.G.和P.R. Gill。 2014。无透镜超微型衍射成像仪和传感器的光学,数学和计算基础。 国际系统与测量进展杂志 7:201–208。
    • Tseng,D.,O. Mudanyali,C.Oztoprak,S.O. Isikman,I.Sencan,O.Yaglidere和A.Ozcan。 2010年。手机上的无透镜显微镜。 芯片实验室 10:1787–1792。

美国科学家评论政策

保持话题。尊重。我们保留删除评论的权利。

请阅读我们的 评论政策 评论之前。