专做短篇的网站个人网页设计思路

计算光学成像所涉及研究的内容非常广泛，虽然计算光学成像的研究内容是发散的，但目的都是一致的：如何让相机记录到客观实物更丰富的信息，延伸并扩展人眼的视觉感知。总的来说，计算光学成像现阶段已经取得了很多令人振奋的研究成果，这些成果必将会对光学成像技术未来的发展方向产生深远影响。我们可以将注意力进一步前移，通过探讨计算光学成像的优势、面临的挑战来大胆展望它的未来发展趋势。

自2010年代初以来，业界和学术界对光学计算的兴趣再次高涨。光学计算机至少在某些任务上优于电子计算机的基本物理基础是什么？

事实上，任何光学计算机要想在实践中取得优势，都可能需要利用其中一个以上的特性；成功的光学计算机设计必须经过精心设计，以避免出现瓶颈或开销超过光学优势。本文将讨论其中的一些误区以及可以采取的缓解方法。

电子处理器设定的高标准导致人们对光学计算的前景一度持悲观态度。鉴于CMOS技术的不断改进，那么，为什么现在人们对光学计算（包括商业发展）又重新燃起了热情？对光学计算的主要批评之一是，光学晶体管无法与电子晶体管竞争。

目前，人们对光学计算的兴趣主要集中在光学计算机架构上，而不是基于用光学晶体管复制数字逻辑。业界的主要目标不是试图构建通用数字计算机，而是构建专用模拟计算机。这两种转变——向特殊用途和模拟处理的转变，都很重要。试图用光学技术构建性能卓越的通用处理器仍然遥不可及，这主要是因为人们希望通用处理器不会出错（例如，会计师希望电子表格中的数字完全正确），而人们只知道如何用数字逻辑实现无差错机器；要构建数字逻辑，就必须使用满足高标准的光学晶体管。不过，我们也可以制造专门针对特定应用的光学处理器，这些应用并不需要完全无差错运行。

目前，专用光学计算机正瞄准几个应用领域：包括神经网络、科学计算、组合优化和密码学。所有这四个应用领域都以矩阵-矢量乘法过程为关键算法原型，而这正是当前光学计算研究的主要目标。傅立叶变换和卷积适用于神经网络、科学计算和密码学，因此在目前的研究中占有重要地位。

在过去几十年中，光学相关器已多次作为商业产品发布，因此，即使在商业上，这也不是一个新方向，而是一个已焕发新活力的方向。此外，在为神经网络进行计算方面也有很大的发展，这些计算并没有明确设计为矩阵-向量乘法或卷积。所有这四个应用领域的一个共同点是，通过光学方法执行的子程序即使存在一些误差（噪声），仍然非常有用。这一因素至关重要，因为任何模拟计算机（包括模拟光学计算机）都很难达到大于10比特的有效精度，因此模拟光学计算机的应用应能承受这种程度的噪声。

神经网络是一个特别好的选择，因为至少在推理过程中（而不是训练过程中），神经网络的精度不会大幅下降，即使它们只能进行精度低于8比特的整数运算。任何模拟神经网络处理器（包括模拟光学处理器）都会担心在执行深度神经网络时可能会积累错误。最近，科学家们对这一问题进行了理论分析，得出的结论是，即使在相关噪声的情况下，噪声累积的有害影响也可以得到缓解。在对深度光学神经网络（有60个光学执行层）的模拟中显示，仅导致有效低位精度的非相关噪声产生的精度与使用8比特整数运算执行相同神经网络的数字电子处理器相同或更好，也就是说，模拟预测与标准数字电子执行相比，神经网络光学执行中的误差积累不会对精度产生明显影响。对于模拟光学处理器、神经网络的所有应用而言，有关抗噪声能力的直觉和模拟最终都需要通过光学实验来验证。

有了这样的背景，我们现在就可以更全面地回答为什么光学计算领域再次掀起热潮。第一个原因是神经网络的崛起：在过去十年中，神经网络已成为机器学习的主流方法，并变得极其耗费计算资源。这引起了人们对专门用于神经网络的替代硬件方法的浓厚兴趣，而神经网络对噪声的内在适应能力使其非常适合模拟光学实现。

其次，CMOS的改进不足以满足应用需求：尽管CMOS硬件已经取得了显著进步，但对于神经网络和其他一些应用（如组合优化）来说，CMOS硬件未来的预期改进也不如用户所愿，并将限制应用能力。例如，神经网络的参数数量——衡量其规模和计算需求的标准之一，的增长速度远远超过了硬件改进的速度，这主要是因为人们发现，规模的扩大往往会带来能力或精度的提高。

第三，光子学硬件有了巨大进步：在消费电子和光通信行业的推动下，光子设备的规模、速度和能效在上一次光神经网络热潮之后的30年里取得了巨大进步。例如，三星公司现在推出了像素达2亿的照相机，功率仅为10 W的每秒400千兆比特光收发器也已投入商用。在这一时期，光子集成电路也得到了发展和商业化，为体形光学器件提供了微型化的替代品；光学材料和器件也有了长足的发展。

电子领域（CMOS和超越CMOS技术）的一个补充趋势是开发用于神经网络处理的专用电子芯片，这为神经网络光学计算机的发展提供了进一步支持。在许多情况下，这些芯片还能进行模拟而非数字矩阵-矢量乘法运算；这一事实促使人们开发出了在模拟硬件上训练神经网络的方法，其中许多方法也适用于模拟光学神经网络。模拟和数字电子神经网络芯片通常都采用数据流架构，尤其是收缩阵列架构。它们还经常采用内存计算的概念，这意味着存储神经网络权重矩阵元素的物理元素同时也是进行权重乘法运算的物理元素；通常情况下，存储的值只能缓慢更新，但这对于神经网络推理或其他需要多次重复使用权重的情况是可以接受的。

在这种架构中，光信号编码的信息流经处理元件，如空间光调制器像素阵列、马赫-泽恩德干涉仪网、相变存储器单元横杆或微波谐振器网络。模拟电子神经网络处理器与模拟光学神经网络处理器的结构相似，这使得光计算机设计师可以借鉴电子处理器界的见解。结构上的相似性也使我们更容易预测未来电子和光子实现的性能比较。并不是每台神经网络光计算机都基于与电子神经网络处理器相似的架构：偏离架构是有充分理由的，但在架构和算法具有可比性的情况下，性能分析就会变得更加简单，因为我们不必区分不同算法和不同架构的影响，而可以专注于基本的物理差异：有多少并行元素，数据通过它们发送的速度有多快等等。同样，许多用于组合优化的专用电子处理器与同一应用领域的光学方法在架构和算法上也有相似之处。

我们在下文中列出了光学本身或利用光学进行计算的方式的11个特征，这些特征是构建光学计算机的要素；这些特征可以解释光学如何带来更微妙但正确的优势。

并非所有这些特征对获得光学计算优势都同等重要，但我们也没有按重要性排序，部分原因是确定这种排序需要了解未来光学计算机最终最依赖哪些成分。不过，在下一节中，我们将讨论如何使用这些特性，并就哪些特性最有可能成为关键发表看法。

1）带宽

光子学的带宽B比电子学大约100,000倍。光子学的带宽约为500THz，而电子电路的带宽通常约为5GHz（图 1a）。小型模拟电子电路的带宽可以大于5GHz，小型数字电子电路的时钟频率也可以大于5GHz，但用于计算系统的模拟和数字电子设备都会受到延迟的限制，速度往往不能超过≪5GHz，而且自2000年代中期以来，还受到功率耗的限制。

光子技术的大带宽带来了两个潜在优势：

- 大规模频率多路复用并行性

例如，在一个频率梳中可以有>107条梳状线，在一个长光纤环腔中可以有>109个频率模式；每个梳状线（频率模式）所代表的数据都可以并行处理（图1b）：不仅可以单独处理（即按元素处理），还可以对不同频率模式中的数据进行相加或相乘等操作。光频模式的并行性通常在光通信中得到利用，波分复用技术可使单模光纤的通信速率大于每秒1013比特。

这种技术也可用于计算；例如，在相干线性光子处理器上实现了带宽为B ~ 5THz的水库计算。

- 光学系统的快速动力学

光学系统的动力学可以非常快，这可以转化为非常高的运行速度，进而带来更高的计算吞吐量和更低的延迟：如果使用光学的全部带宽，操作延迟的极限τdelay≳1/B，对于光学来说比电子学小约100,000倍。

不过，从带宽角度看光学的潜在优势有一些微妙之处。首先，τ延迟的带宽限制只是一个限制，如果设备的传播长度使得光穿过设备所需的时间长于1/B（也就是说，光速限制开始占据主导地位），延迟可能会更长。需要注意的是，当传播延迟在总延迟中占主导地位时，仍有可能通过流水线技术(pipelining)从带宽受限的快速吞吐量中获益，例如，向系统发送多个光脉冲，其间距大于时间脉冲宽度~1/B，但小于传播延迟。然而，由于电子计算机也可以（而且通常也会）利用流水线技术，因此在进行性能比较时需要再次谨慎。

另一个微妙之处在于，单个现代电子晶体管在典型负载下的延迟时间约为1ps，因此，如果在单个开关的层面上将光子学与电子学进行比较，光学的带宽优势将远远小于 ~100,000倍。在整个芯片层面，电子处理器的时钟频率比电路延迟所显示的速度慢10-100倍，这主要是由于功率耗散的限制。相比之下，光子处理器的功耗很低；因此，在系统层面上，光学器件结合了固有带宽和低耗散，可实现约100,000倍的潜在全系统带宽优势。

图1：未来的光处理器最有可能在延迟、吞吐量或能效方面实现整体优势的三个关键特性。

2）空间并行性

光子系统可以利用大量(>106)并行空间模式。在约2.5cm−2的面积上使用>108个空间模式的消费电子产品已经实现，这说明在实践中可以实现大规模并行。学术界也开发出了控制多种模式的先进集成光子学设备（图1c）。

对于光被限制在单个二维平面内的光子系统，如二维光子集成电路，光子元件的密度可高达~106cm−2，我们可以粗略地认为每个元件都能并行执行一个或多个计算操作（如乘法）。编写一个或多个运算而不只是一个运算有多种原因。例如，如前所述，空间中的单个分量可并行作用于多个频率模式，或多个偏振模式。另一种情况是，根据人们对操作的定义和对单个元件的定义，一个元件可以在光通过它的一次过程中自然地执行多个操作，例如一个50:50耦合器可以执行两次乘法和两次加法。

虽然这个元件密度的绝对值很高，但我们应将其与CMOS电子技术中的空间并行性进行比较，后者的晶体管密度约为1010cm−2。作为另一个比较点，举一个未来候选电子技术的例子，IBM制造的基于相变存储器交叉条阵列的模拟矩阵-矢量-乘法器内核，在约0.6平方毫米的芯片面积内拥有65,536个相变存储器单元。这相当于每平方厘米约107个单元的密度，每个单元可以理解为每个时钟周期执行一次标量模拟乘法运算。

在这种二维光子集成电路环境下，光学在可制造元件的纯密度方面与电子学相比处于劣势，因为电子学的晶体管密度比片上光子学的元件密度大104倍。这种比较可以说是最贴切的，因为在大多数情况下，基于晶体管的电子处理器是最理想的系统。不过，还可以进行其他比较。即使二维光子学也能比二维微波电子学具有空间并行性优势：例如，光子晶体腔（谐振器）的面积可达~1μm2，而电子微波谐振器通常要大几个数量级。

然而，如果使用第三空间维度，光学可能会在空间并行性方面获得几个数量级的优势，因为电子学实际上仅限于非常有限的三维集成。典型的现代电子芯片很薄，只有1毫米左右，而且只有几十层，而光学处理器通过体晶体或多模光纤等传播，厚度可达几厘米甚至几米。然而，在NAND存储器的具体案例中，电子集成电路已经扩展到 128层：这表明，对于存储器而非计算而言，光子学在三维空间的扩展比电子学的优势要小。

关于空间并行性，还有一个重要的补充观点：重要的不仅是可制造元件的密度或数量，还有在实践中可并行使用的元件数量。换句话说，元件密度的提高并不一定意味着计算性能的相应提高。现代CMOS电子处理器通常只能在一个时钟周期内切换一小部分（例如3%）晶体管，这主要是由于冷却方面的限制。如果考虑到在功率耗散的限制下有多少元件可以实际并行操作，那么二维光子集成电路在空间并行性方面与电子集成电路相比，其劣势可能要小于元件制造密度本身所显示的。

作为光学计算空间并行性的一个例子，自由空间光学处理器的原型已利用商用空间光调制器实现，这些调制器拥有 ~106-107个可控像素，使其成为构建高度并行系统的有用工具。通过一个具有~5 × 105像素的光学装置，每次通过的光可并行计算~5 × 105的标量乘法。对于不需要空间光调制器可编程性的应用（如神经网络推理），制造元表面提供了实现更大并行性的途径：根据成像系统空间-带宽乘积与面积的线性比例，我们预计可以利用~10 × 10平方厘米的面积，创建基于元表面的矩阵乘法或卷积，其预编像素（参数）大于109个。

3）几乎无耗散的动力学

光子在自由空间光学装置中传播时几乎没有能量损耗，仅靠传播就能进行计算。(在某些芯片上，光子的传播甚至几乎没有能量损耗：例如，铌酸锂薄膜芯片的波导传播损耗为0.06 dB cm−1。

那么，究竟需要进行多少计算呢？我们考虑线性光学系统和非线性光学系统的情况。

- 线性光学

通过光传播进行计算的一个例子是，单透镜可以有效地对照射到它上面的光进行二维傅立叶变换：光相关器和光神经网络中的卷积层（图1d）都利用了这一现象。更一般地说，光在线性光学系统中的传播可以用矩阵-矢量乘法来模拟，因此只需将空间模式中编码矢量（维数为N）的光照射到光学系统上，就能进行矩阵-矢量乘法。

- 非线性光学

在光通过非线性光学系统传播时，也可以看到可用于计算的近乎无耗散的动力学。例如，光在具有非零二阶非线性光学易感性(χ(2))的光学介质中传播时，一般会产生和频生成和差频生成过程，其中输出端的光振幅是输入端两个频率的光振幅的乘积。非线性光动力学可以实现非线性数学函数：这在深度神经网络和更广泛的计算中至关重要。

此外，正如多个空间光束在线性光学系统中的传播可以看作是矩阵-矢量乘积一样，多个空间光束在非线性光学系统中的传播可以实现矩阵-矢量乘积的高维概括，即涉及n + 1阶张量的张量收缩，其中n是非线性光学感度χ(n)的阶数。这是一个令人印象深刻的计算特性：在最低阶非线性n = 2的情况下，仅仅通过光在系统中的传播，所进行的计算就是一个包含~N3次乘法运算的张量收缩，其中N又是空间模式的数量。

光学非线性的阶数越高，光在系统中的单次传播所进行的计算量就越大，因为这涉及到更高阶的张量。

- 具体优势

在光学中几乎可以无耗散地进行计算，这是有好处的。首先，我们有可能利用无耗散动力学来执行计算，所耗费的能量比在有大量耗散的不同平台（如电子平台）上所需的能量更少。

第二个好处是性能更高。耗散不仅会导致计算耗费更多能量，还会限制处理器的时钟速度和并行性，最终限制其总计算吞吐量（每秒操作次数）和延迟。现代CMOS电子处理器的时钟速度和晶体管的三维密度都受限于从中提取散热的能力。通过显著降低每次运算的散热量，就有可能显著提高时钟速度和空间并行性（单位体积内同时执行的运算次数）。

就三维芯片而言，光子学在耗散方面比电子学有另一个潜在优势：虽然芯片中电能的损耗通常是由于能量损耗点产生热量（例如导线的电阻加热），但光子学中的情况可能完全不同，因为光能的损耗通常不是由于吸收和随之产生的热量，而是由于散射。例如，硅光子集成电路中的波导就属于这种情况，这表明如果构建三维硅光子芯片，芯片内波导的损耗主要不会导致发热，而是会导致光子在芯片内散射，直到出现在表面。总之，光学中近乎无耗散的动力学使三维光子芯片的制造成为可能，而这种芯片不会像三维电子芯片那样面临极端的散热挑战，即使发生少量的光子耗散，如果是由于散射，也不会在芯片的主体内引起发热，因此，只要避免使用吸收光子的元件，我们甚至不必担心残余光子损耗会造成热管理方面的困难。

不过，这些好处也有一个障碍，那就是输入/输出成本：计算的输入数据如何加载，结果如何读出？如果输入数据来自电子存储器，而计算结果需要存储在电子存储器中，那么即使计算本身几乎可以“免费”进行，我们也需要将电子数据转换到光域以进行数据输入，然后再将光答案转换回电子域。这种内存访问和转换通常还涉及数模转换和模数转换，将耗费大量能源（与太赫兹的光带宽相比，速度有限）。

幸运的是，这种能量成本只与输入矢量的大小N成比例，而执行的计算量可能与N2（线性传播）或N3（或更高的幂；非线性传播）成比例，因此，对于足够大的N，输入和输出的能量成本与电子处理器计算所需的成本相比是很小的。同样，对于足够大的N维向量，输入和输出所需的时间与电子处理器进行N2复杂度或N3复杂度计算所需的时间相比也非常少。一般来说，系数的加载（如线性传播中的矩阵元素）也需要耗费能量和时间，但这可以在多次运行中摊销，如神经网络的分批推理。

4）低损耗传输

光“远距离”传输信息的能量成本远低于电信号，这主要是因为电线单位长度的信号衰减（能量损耗）远高于光纤或波导。

首先，电子设备之间的光通信需要将信号从电信号转换成光信号，再转换回电信号，而转换设备需要耗费能源。另外，沿着导线传输电信号所需的能量会随着导线长度的增加而增加，因为导线的电阻会随着长度的增加而增加；但这并不是问题的全部：对于细导线（如CMOS电子处理器中使用的导线），导线延迟会随着长度的增加而二次增长，为了缓解这一问题，需要使用中继器来恢复延迟与长度的线性比例关系，而中继器也有能量成本（与驱动晶体管的开关有关）。

对于片上光子处理器，AIM Photonics等商业代工厂生产的氮化硅波导在波长~1,600-1,640nm时的损耗为~0.06 dB cm−1，在电信C波段（~1,530-1,565nm）时的损耗小于 0.25 dB cm−1。

自由空间和片上光学处理器的一个重要注意事项是，尽管元件之间的传播损耗可能很低，但当光传播到元件或从元件传播出来时，通常会产生反射或散射损耗（如折射率不匹配导致的菲涅尔反射）。因此，光学处理器仍需精心设计，以避免总体光损耗过大。

光学的低损耗传输特性已在电子计算机中得到利用：数据中心的光链路、甚至芯片之间的直接光链路，都利用光在从几厘米到几米的长度范围内传递信息。未来，预计甚至单个芯片内的某些通信最终也可能使用光学技术。

图2：光学系统中的信号传输

光尚未用于单个电子处理器芯片内的通信，特别是短距离通信的一个主要原因是，在光域和电域之间传输信号的光电元件需要耗费空间和能源，只有当信号需要传输的距离足够长时，才值得支付这些费用。然而，光学计算机原则上可以利用光学技术，在所有长度范围内实现低能耗、几乎无耗散的信息传输，而且无需为信号传输支付空间或能量成本：因为信号已经是光学的了。但需要注意的是，光学处理器将不可避免地需要使用一些能量进行转换，例如，加载计算的初始输入数据和/或读出最终答案，这通常需要在电场中进行。但是，在计算过程中发生的能量转换及其成本是可以避免的。

5）光束和“电线”可以交叉，电线则不能

在许多情况下，光学非线性几乎可以忽略不计：不仅在自由空间环境中如此，在光功率较低、传播长度较短的材料中也是如此；非正式地说：我们在普通光学环境中没有光剑。在这种情况下，光束可以相互穿过而不会产生串扰。同样，芯片上的光导线（波导；图2b）也能以极低的串扰进行交叉；不仅在原理上如此，在实际应用中也会出现制造缺陷。

相比之下，电线需要有自己的隔离物理空间区域，除了不能相互穿过外，即使只是相互靠近，也往往会产生串扰。

这种差异为光子处理器提供了可能性，使其比电子处理器更紧凑，因为互联是造成处理器尺寸的一个重要因素，尽管由于衍射、散射和不必要的反射，使用光束传递信息并非没有自身的串扰问题。

我们可以将光束交叉的能力理解为许多自由空间空间多路复用卷积和矩阵向量乘法光学实现的关键因素。例如，在使用透镜阵列进行扇出的矩阵矢量乘法器的实现中（图3b），输入矢量和扇出副本之间的光线会交叉。这种交叉原则上支持在小体积内实现大卷积和密集矩阵向量乘法。光学开关（图2c）提供了另一个光束交叉可实现更紧凑设计的例子。

图3：光学系统与电力系统的其他不同之处

6）光束可以高速可编程地转向；而电线要么是固定的，要么只能缓慢地重新配置

自由空间光束可以轻易地重新定向（例如，使用声光偏转器，延迟时间为微秒量级）（图2d），从而实现可重新配置的光互连（图 2c）。

相比之下，芯片上的电线在制造时是固定的，连接处理器、电路板或机架之间互连节点的电线只能缓慢移动（通常为几秒量级）。电子处理器通常通过使用多跳通信（依靠发送方和接收方之间有一条涉及一些中间节点的路径）和交换（在固定的网络拓扑结构中实现信号的快速重路由）来缓解固定网络的缺点。这些策略的代价是延迟增加和潜在的带宽瓶颈。

7）扇入（求和）和扇出（复制）在光学中的作用不同

复制要并行处理的数据（扇出）和汇总多个并行处理单元的输出（扇入）是并行处理的重要基本原理。两者在光学中的实现方式与电子学不同，也有不同的取舍。在数字处理器中，扇入和扇出通常保持在低于10的水平，因此每当需要更大的扇入/扇出时，就必须使用多个缓冲级（从而进一步延迟）。

在自由空间中，可以通过将光束引向空间中的一个共同点（例如，通过使用透镜；图3a）来对空间模式编码的信号进行扇入；图3a），在该点可以安装光电探测器（如果下一步处理需要将光信号转换为电信号）、全息元件（将不同方向的光束合并为一个方向的光束，但会损失光功率）或增强器（可以放大合并后的光束并重新发射单一光信号）。

从概念上讲，将单个空间模式的信号扇出到多个空间模式的过程在自由空间中也很容易实现，基本上不需要任何特殊的工程努力（图 3b）：想象一下一个向多个方向发射信号的光学显示屏（如手机上的发光二极管显示屏）--多个人从不同的有利位置观看显示屏，都能看到相同的图像，我们可以解释为显示屏上的数据被复制了多个副本，并传输给了不同的接收器。

空间模式的扇入和扇出也可以很容易地在集成光子学平台中实现。然而，在片上环境中，光的传播实际上通常被限制在单个平面内，而在自由空间中，信号自然会在所有三个维度内传播，这就使得扇入和扇出的程度更高。因此，在自由空间环境中使用光学扇入或扇出，比使用片上电子处理器（也是准平面）更容易获得优势。

到目前为止，我们已经讨论了空间模式下的扇入和扇出。对于使用频率或时间模式的光学计算机，扇入和扇出可通过其他方式实现。例如，可以通过调制光频梳在频域中将作为电子信号输入的数据扇出，也可以使用波分复用技术（包括片上平台）进行加权扇入。

要说明光扇进或光扇出为何或何时比电扇进或电扇出更有优势，不妨考虑光学的带宽和低损耗传输，以及光束可以交叉。然而，光学的扇入/扇出可能性与光学的带宽、低损耗传输和光束交叉的潜在优势截然不同，因此将光学中的扇入和扇出视为可用于光计算架构的特殊功能是很有意义的，尽管它们也可能使用光学的其他功能来良好运行。

事实上，找出潜在优势的来源可能相当微妙。例如，扇入可以说在实现矢量-矢量或矩阵-矢量乘法引擎方面发挥了重要作用，这些引擎每次乘法使用的光能极少：在这种情况下，无论矢量大小如何，实现矢量-矢量点积的特定信噪比所需的光能都是固定的，但光电子扇入也能实现类似的效率，在这种情况下，求和是在电域中进行的。

与数字-电子方法相比，纯模拟电子方法计算矢量-矢量点积的能耗也更低，因此，对于任何使用光扇入的计算方案，我们都可以问：哪一部分潜在优势来自于以模拟而非数字方式执行求和，哪一部分来自于使用光学而非电子技术？

8）单向传播

我们可以很容易地构建出自然单向传播的光学系统（例如，如果在系统的一部分形成一个光腔，情况就会变得更加复杂）。相比之下，电信号可以反向传播（图3c）。在电子处理器中，反向传播（从输入到其他输入，或从输出到输入）可能会导致不必要的动态变化以及不必要的功耗。在某些模拟架构中，这种差异使光学比电子更具优势。

尽管反向传播是电路的一个普遍特征：如果电路中没有缓冲器或二极管等隔离元件，只要两个连接的电路节点之间存在电压差，它们之间就会有电流流过，即使这两个节点是输入端；但对反向传播的担忧主要出现在模拟交叉阵列处理器中，与它们的扇入阶段以及潜行路径问题有关。模拟光学矩阵-矢量-乘积引擎通常采用单向传播，避免了模拟电子矩阵-矢量-乘积引擎（即交叉条阵）中出现的一些问题，而且光学提供自然隔离的概念更为宽泛，可在计算中发挥作用。

需要注意的是，虽然如果光线不通过任何界面，完全的单向传播是可能的，但任何有用的光学处理器都至少涉及一些界面（例如，光线从空气进入玻璃透镜），因此会产生一些不可避免的反射。可以通过适当选择几何形状和材料来减少反射，但永远无法完全消除。在许多情况下，例如光学处理器的紧凑性和系统中反射的大小（换句话说，单向性）之间可能存在工程上的权衡。

9）绝热、最小作用和最小功率耗散原理的不同实现方式

一般物理学原理：如绝热性、最小作用原理和最小能量耗散原理，可导致物理系统启发式地解决优化问题；这些原理的变体可用于构建优化机器（如伊辛机）。鉴于优化在机器学习，尤其是神经网络中的核心作用，设计用于执行优化的计算机通常也非常适合执行机器学习；因此，优化方面的优势也完全可以转化为机器学习方面的优势。

同样，我们也可以将偏微分方程的求解问题重塑为变分优化问题，从而将物理学优化原理应用于更广泛的计算领域。

例如，费马光学的最短时间原理指出，光在两点间移动的时间最小的路径（图3d）。费曼用路径积分公式解释了这一原理，即光可以走所有可能的路径，但只有建设性干涉的路径才有实质性贡献，而传播时间与费马解法相差甚远的路径则是破坏性干涉。这一观点可能有助于思考如何设计使用费马大定理的优化机器。相比之下，费马原理在电路中并没有直接的类似物；因此，利用费马原理进行优化的计算机更自然地可以尝试用光学来创建。

昂萨格的最小能量耗散原理既适用于光学，也适用于电子学，但由于基础物理学的不同，其行为和由此产生的计算性能可能会有所不同。例如，光学中的激光和参量振荡器在增益等于损耗时有一个阈值，它们首先在损耗最小的模式中振荡，这一事实可用于设计光学伊辛机（图3e）。包括振荡器在内的电路也具有启发式能量耗散最小化的动力学特性，但它们与激光器或光参量振荡器并不完全相同，一般来说具有不同的行为。

使用昂萨格原理的光学系统是否或在何种情况下比电子系统更具优势，这还是一个未决问题，但光学计算机的设计者可能希望探索这种可能性。这个问题涉及多个方面：如果光学和电子动力学方程完全相同，那么出于本文所述的其他一些原因（如带宽），光学系统仍有可能比电子系统更具优势。

然而，我们还可以问，除了更高的带宽导致更快的时间尺度，或更大的空间并行性导致更大的系统规模之外，底层方程之间的差异是否会导致不同的行为？换句话说，这些差异超出了迄今为止得出的其他光学与电子学的区别。

10）光的量子特性可在室温下获得

我们可以在室温下存储和处理用单个光频光子编码的信息，也可以在室温下以低噪声探测单个光子。这与微波频率的情况截然不同，在微波频率中，室温下的热噪声会迅速淹没存储在单光子中的任何信息，因此无法进行低噪声单光子探测（图4a）。微波光子的量子特性可在约10mK的温度下获得，但这种低温通常只能通过稀释制冷机来实现，而稀释制冷机既笨重又昂贵（金钱和能源）。

对于经典信息处理而言，由于可以操作和测量少量光子，因此与可靠运行所需的更多光子相比，能量成本可能更低。在室温下产生和测量光的挤压态也是可能的；挤压态的噪声降低可能会被证明有助于经典信息处理，例如，在固定的能量预算（光子平均数量）下实现更高的数字精度。

光学中缺乏强烈的单光子非线性，这在无串扰的信息交流中是一种优势，但在处理光子数量较少的信息时可能成为一种劣势，而单光子检测则可以规避这一问题（图4b）。检测过程本身的非线性是一个可以利用的特点，但也可以利用光检测来概率性地诱导多种光学模式的非线性操作。

图4：光的量子本质

在这篇文章中，我们不考虑量子信息处理；在这里，当我们谈到在量子环境中运行时，我们指的是光由光子组成，我们在如此低的功率下运行，以至于光的量子噪声和离散性质与计算机的运行建模相关。利用纠缠等量子现象构建量子计算机的话题令人兴奋，但超出了本文的讨论范围。

11）波物理学

观察单个光子的波性很容易：在马赫-泽恩德干涉仪中观察单个光子的干涉是本科生的实验（图4c），而在片上光子处理器中光子的相干性得到了很好的保存；但观察单个电子的波性却很困难。即使在先进的片上电子传输实验中，电子相干长度也小于~250μm，1μm至20μm之间的值更为典型，而且仅在低温条件下。

电子的波浪特性之所以难以观测和利用，是因为需要低温：片上电子相干长度比片上光子相干长度更依赖于材料宿主的特性。因此，尽管光子和电子的波粒二象性都是量子物理学的一部分，但我们仍将光子的波物理学可及性视为其量子性质可及性的一个单独优势。

与此相对应的是，尽管观察单个电子的波性质并不现实，但电子学中微波信号的波现象却可以很容易地被观察到并用于计算。然而，这些并不是单个电子的波现象，而是由许多微波光子组成的信号的波现象。这种区别在工程学上的一个关键后果是，电子微波信号的波长很长（例如，千兆赫信号的波长为厘米级），这就明显限制了可能的空间平行性，而光频光子信号则可能实现平行性：这就导致了光学相对于电子学（尤其是微波）的潜在优势。需要注意的是，一种完全不同的微波信号也可以产生并用于计算：微波频率的声波。这些波尽管频率低，但波长却很短，但传播速度却比光子信号慢得多（声速而非光速）这是用它们进行计算的一个不利因素。

我们可以通过三个主要的计算性能指标来取得优势：延迟、吞吐量和能效。在设计光学计算机时，应针对三者中的哪一个（或哪一个组合）取决于用户的目标，但光学技术如何能在所有三个指标上都取得优势，还是有论据可循的。

需要注意的是，计算机还有其他一些重要指标，如尺寸、稳健性、成本、安全性（易受黑客攻击）和准确性。例如，我们没有理由相信光学计算机能比所有可能的电子计算机提供更高的精度，因此精度并不是我们期望的光学优势指标，相反，我们的目标通常是在特定精度下实现延迟、吞吐量和/或能效方面的优势。同样，其他指标也提供了其他约束条件，光学计算机必须满足这些约束条件，才能在某些特定使用情况下具有竞争力。

现在，我们以机器学习推理（更具体地说，图像中的人脸识别）为例，简要介绍这些指标。延迟（也称延时）是指从计算机获得输入图像开始，计算机对图像中的人名做出预测所需的时间。吞吐量指的是每秒可以进行多少次推理；对于图像中的人脸识别，吞吐量指标是每秒处理的图像。请注意，一般情况下（1/延迟）≠吞吐量；通过流水线，吞吐量可以远远高于延迟的倒数。一个直观的例子是，考虑一家使用装配线（流水线）生产汽车的工厂：从开始到结束，工厂生产一辆汽车可能需要1天时间（延迟），但每天生产的汽车总数可达数百辆（吞吐量）。能效是指计算机在完成一次推理计算并达到指定精度时所消耗的能量；对于图像中的人脸识别，能效指标是每处理一张图像消耗多少焦耳。

在对这三个指标进行优化时，可能会有所取舍，因此在开始设计计算机之前，必须确定自己的目标是什么。例如，虽然最大限度地减少延迟有时是主要目标（如在高频交易中），但提高处理器的吞吐量或能效往往是更重要的目标：在许多情况下，目标将涉及所有三个指标，如最大限度地提高吞吐量和能效，但延迟必须满足特定目标（如在神经网络推理中；在许多应用中，如语言翻译，我们可能要求延迟小于1秒）。

尽管在优化计算机性能指标时通常会有所取舍（例如，在延迟和吞吐量之间），但以下策略应有助于设计可优化任何延迟、吞吐量和能效组合的计算机。

1）避免或减轻输入和输出瓶颈/开销

光学计算机一般不完全依靠光学元件运行：计算机的某些输入通常来自电子设备，和/或计算机的输出最终来自电子设备。例如，如果光学处理器用于判断自动驾驶汽车前是否有行人行走，其输出需要电子化，以便输入到汽车的控制系统中，后者可以利用这些信息来驱动刹车。如果处理器使用神经网络，神经网络的训练参数很可能存储在电子存储器中，并需要以某种方式输入处理器。遗憾的是，光学和电子之间的接口会造成速度上的重大瓶颈，并成为处理器能耗的主要来源。要使光学处理器在延迟、吞吐量或能效方面比电子处理器更具优势，就必须在处理器架构设计上尽量减少光信号和电信号之间的传输以及模拟信号和数字信号之间的转换所带来的负面影响。

一个重要的缓解策略是，输入的数据应尽可能重复使用：一旦支付了将电子数据发送到光处理器的时间和能源成本，我们就希望尽可能多地从这些数据中获益。这既适用于转换成光信号的数据，也适用于可能仍然是电信号但输入处理器需要时间和能源成本的数据。光信号的重复使用可以通过各种形式的光存储器以及通过扇出复制来实现。因此，光计算机设计人员通常会尽可能提高扇出系数。在光学矩阵-矢量乘法器中，扇出更多份输入矢量是可取的，而且很可能是必要的，这样才能比电子计算机获得更大的优势。

作为重复使用电子控制信号的一个例子，执行神经网络推理（而非训练）的光学处理器可将神经网络权重加载到静态功耗很小或没有静态功耗的移相器中，然后通过对这些权重进行多次推理计算（例如，通过批处理单个推理）来多次使用这些权重。这样就可以摊销加载权重的时间和能源成本。光子神经网络处理器中数据重复使用的另一个例子是卷积神经网络：相同的卷积核可以应用于输入数据的许多不同子集，因此核权重至少在概念上可以一次加载并多次使用。

一般的设计原则是，在其他条件相同的情况下，每比特输入数据的计算次数越多越好。这一原则本质上就是传统计算机架构中最大化算术强度的概念。数据重用是实现这一目标的方法之一，但一个重要的补充概念方法是选择计算任务，使该任务的光学处理器执行的计算复杂度随输入数据大小而快速扩展。

一个关键的实际情况是，就目前CMOS电子设备的速度和能耗而言，光学处理器似乎需要支持非常大的N值（例如 N > 104），才能达到交叉点，开始在矩阵-矢量乘法的基础上提供吞吐量或能效优势。这一事实促使人们扩大光学矩阵-矢量乘法处理器的规模，并设计出计算复杂度大于 O(N2) 的光学处理器。从这个角度来看，组合优化（如伊兴解）对光学计算来说是一个很有吸引力的问题。

当光学处理器从电子存储器中加载数据时，不仅需要支付存储器访问的费用（电子处理器也需要支付该费用），还需要支付将数据从电信号转换为光信号的费用，而且可能还需要支付数模转换的费用。由于光学处理器加载数据的成本通常比电子处理器大，因此有强烈的动机为光学处理器选择具有更高内在数据重用性或更高算法复杂性的算法。这种软硬件协同设计能带来相当大的改进，而不是根据目前电子处理器上运行良好的算法来固定算法，并试图强行将光学处理器设计成以同样的方式运行。

虽然尽量减少和补偿输入数据的成本至关重要，但避免数据输出的时间或能源成本过高也同样重要。同样，在光学处理器内进行尽可能多的计算和数据缩减，也有利于减少需要输出的数据量。这一设计原则促使我们选择相对于输出大小需要大量计算的算法。举例来说，机器学习推理通常就是如此：对于整体计算来说，答案可能只有几十比特，输出的是输入数据的预测类别。

2）不要试图直接与数字电子处理器较量

可以说，要制造出在吞吐量或能效上超越电子处理器的光处理器，最大的挑战在于克服电子到光学和光学到电子转换技术的性能限制。如果从电子数据开始（这是最常见的情况），并希望计算出的答案最终能在电子设备中得到（这也是最常见的情况），那么就别无选择，只能采用上述策略，并希望能够摊销输入/输出成本。

不过，考虑到最先进的CMOS电子处理器体积庞大，而且它们在处理已经存在于电子设备中的数据方面具有先天优势，因此现代光学处理器很可能不会首先在传统电子处理工作流程中获得取代加速器的优势；相反，我们可以瞄准那些输入和/或输出天然是光学的应用，这样就可以消除转换成本。

例如，在自动驾驶汽车、显微镜或光谱学等应用中，输入通常是来自相机的图像的机器学习应用：我们可以用光学神经网络取代相机和随后的电子神经网络，直接处理眼前的场景。如果最终输出将是电子数据，也不必用光学取代所有电子图像处理计算：可以采用光学预处理光学图像数据的策略，对其进行智能编码；这样从光学到电子的输出转换带宽就比一开始就将图像数字化要低得多，从而在延时、吞吐量和能效方面带来好处。

虽然图像处理可以省去输入转换阶段，因为输入可以直接是光学的，但输入和输出都是光学的应用可能更有希望立即攻克。光通信的输入和输出都是光信号，但目前的方法需要经过多个阶段，将光信号转换为电信号进行电子处理，然后再转换回光域。这使得光通信信号处理自然成为全光信号处理的目标，全光信号处理可减少延迟、提高吞吐量并改善能效。

许多神经网络模型已经大到无法在单个电子处理器上运行的程度，这促使人们设计专门用于神经网络处理的光互连。这一趋势为神经网络处理作为光学处理器的应用提供了另一个动力：如果电子处理器竞争也需要支付光学和电子之间转换所产生的相对较高的能源成本，那么这些转换成本至少不是使用光学处理器的唯一劣势。我们可以将光学互联数据中心中用于执行神经网络处理的单个处理器视为一个输入和输出均为光学的系统，因此从这个角度来看，尝试用光学处理器取代它是一个很有前景的候选方案。

3）结合多种光学特性，尝试获得优势

这一点听起来可能很老套，但却很重要：任何光学处理器要想比最好的同类电子处理器更具优势，最有可能需要利用的不仅是光学的一种特性，而且还需要精心组合其中的几种特性。

例如，仅仅利用光学在单一空间模式下的大带宽（即使我们暂时忽略输入/输出瓶颈），可能也不足以带来吞吐量上的优势，因为电子处理器通过巨大的空间并行性（在现代芯片中拥有1011个晶体管）来弥补较低的带宽。同样，仅仅依靠空间并行性可能也是不够的：尽管光学的空间并行性相当可观，尤其是在三维系统中，但晶体管的空间并行性通常更加惊人。

不过，如果能在单个系统中结合光学的带宽和空间并行特性，就有可能超越电子技术。例如，想象一下能以10太赫兹的时钟频率并行处理107个空间模式的数据，或者并行处理107个空间模式的数据，每个空间模式有107个频率模式；换句话说，有1014个并行的空间-频率模式。不过，我们还可以有更多的空间和频率模式，这只是一个例子，而不是约束。虽然如何充分利用光学所提供的带宽和空间并行性的组合还远未解决，但结合光学中几乎可以无耗散地执行操作这一事实，光学在超越电子学方面大有可为。

准确预测技术的未来是很困难的，但我们可以合理地假设，在这篇文章探讨的11项特性中，带宽、空间并行性和几乎无耗散的动态特性最有可能在未来的光学处理器中发挥关键作用，从而在延迟、吞吐量或能效方面带来整体优势。然而，许多其他功能最终也可能发挥重要作用，因此不应被忽视。

迄今为止，许多光学处理器的演示都展示了利用光学的某些特性进行计算的原理验证，这种方式可能会带来优势，但系统并没有适当地利用其他一些可用的特性，最终导致原型机不如当前的电子处理器。

最后，下面列举了一些重大挑战，如果这些挑战得到解决，我们将大大接近实现实际有用的光学计算机：

- 光处理器架构设计。要设计出能最有效地利用光学特性获得优势的光处理器架构，是一项重大挑战。现有的光处理器架构（使用自由空间或集成光子学）其中一些已有几十年的历史，显然并非最佳架构，因此我们有机会发明经过改进或全新的设计来应对这一挑战。

- 应用。我们需要找到光学处理器的理想应用领域。利用光计算取得优势的主要障碍之一是与输入/输出相关的问题，因此我们希望找到有价值的应用，从而避免或减轻输入/输出瓶颈和成本。

- 非线性。非线性在许多计算中都至关重要，而低能、快速、小尺寸、可可靠制造的非线性将是一个有用的构件。这种非线性不一定是全光非线性：光电子非线性也可能有用，不过一般来说，人们可以希望从全光非线性的更高带宽和可能更低的能耗中获益。

- 级联性。在许多计算中，例如在深度神经网络中，输入数据不是通过一个函数而是通过一系列函数输入的。因此，计算的光学实现通常需要将光信号多次通过同一光学装置或多个不同的光学装置（或两者兼而有之）。这就要求能够在时间或空间上级联光学过程。

- 三维设计与制造。空间并行性可通过使用三维空间得到大幅提升，如果耗散保持在较低水平，这将为电子技术提供优势。另外，利用三维空间实现模式间的长程耦合（以及与光学传输原理相关的优势）也能带来好处；这里的关键问题是如何设计和制造可编程、大规模、高密度的三维处理器。

- 电子和光电元件的能源成本。光学处理器的能耗成本通常由计算机电子部件的能耗成本主导。许多光学计算方案都能从大量高速、低功耗、低成本的探测器、模数转换器、调制器和数模转换器阵列中获益，甚至需要它们来提供优势。提高这些组件的能效是一项重要挑战。

- 规模。大多数光计算方案都依赖于并行性：无论是频率或时间多路复用，还是空间多路复用或两者的结合，这也是它们实现优于电子技术的部分原因。然而，吞吐量和能效优势通常只有在系统规模（即并行操作数量）非常大时才能体现。大多数光学计算方案都面临着巨大的扩展挑战，无法实现实际优势；在某些情况下，我们甚至还没有关于如何扩展的切实可行的路线图。

- 稳健性、可靠性和制造变化。尽管许多光学元件（如手机等消费电子设备和光纤通信系统中出现的光学元件）通常都非常可靠，但许多正在考虑用于光学计算机的光学技术在鲁棒性（例如，在温度变化或机械振动等环境扰动下的性能）、可靠性（例如，在正常运行条件下保持正常工作的可能性）和制造差异（例如，制造出来的器件在规格上与设计值的差异有多大）方面都面临挑战。一般来说，对于可能用于光学计算机的每种光子技术平台，都存在如何稳定（被动或主动）它的问题。

- 存储。为了避免电子和光学之间的转换成本，以及避免电子存储器访问成本（即使在电子计算机中也是主要成本），我们通常希望能够存储数据，以便在光学处理中使用。

- 突破量子极限。实现光能耗最小化的途径之一，是在光的量子特性不容忽视的情况下运行光学计算机。例如，通过使用超低光功率，信号由少量光子组成，并由单光子探测器测量。需要注意的是，光学计算机将不可避免地涉及一些电子设备，即使只是用于控制或读出，而电子设备的能耗成本往往是最主要的，因此，只有在某些情况下，最大限度地降低光功率才会带来巨大的好处。尽管如此，在这些情况下，无论是设计架构还是实现实用设备，都有许多工作要做，这些设备都能从量子机制中获益。

1、优势

 “物理域”和“计算域”的协同

计算光学成像的最大优势在于它代表了一种崭新的光学系统设计方式。其在建立光的几何光学，波动光学，甚至光量子模型的基础上，采用照明与光学系统调制等方式，建立场景与观测之间的变换或调制模型，然后利用逆问题求解等数学手段，通过计算反演来进行成像。这种计算成像方法实质上就是在场景和图像之间建立了某种特定的联系，这种联系可以是线性的也可以是非线性的，可以突破一一对应的直接采样形式 ，实现非直接的采样形式，使得采样形式更加灵活，更能充分发挥不同传感器的特点与性能。这种灵活的设计模式可以改变光学测量的性质以获得所需的结果并平衡物理域和计算域之间对图像生成和信息提取所依赖的资源。利用信息论的概念，不仅可以借助于传统光学设计的优势，还可以充分利用对于光信息处理的潜力来设计成像系统。

潜在的“通用理论框架”

计算光学成像技术的另一大显著优势在于其能够有望形成一个更高维度的框架体系来分析处理与看待光学成像的具体个案问题。传统光学成像技术的发展大多依赖于 case-by-case 的研究方式，极易造成大量重复性研究，难以揭示那些看似独立的成像方法之间的内在关联。此外特定方法针对核心成像指标提升的本质原因仍不明确，从而难以定量优化或进一步提升其成像潜能。而计算光学成像实则提供了一个“包罗万象”的通用理论框架：一个典型的计算光学成像系统由照明、样品、成像系统、探测器四部分构成。照明光与样品发生作用后成为其本质信息 (如吸收，相位，折射率等) 的载体，通过对照明与成像系统进行光学调控使物体的本质信息转化为光强信号由探测器离散采集，最后通过相应的计算方法对样品本质信息进行反演，获得样品高维高分辨率定量数据。若能基于物理成像模型构建计算光学成像理论体系，突破“如何表示”、“如何求解”、“如何设计”三大关键科学问题，并在此体系下发展求解相应逆问题的标准可重用算法，发挥可见光波段光学调控手段的灵活优势，有助于实现有限资源的最大效用，使最优核心成像指标实现质的突破，进而促使面向各类复杂现实成像应用的新理论、新机制、新技术更快，更系统地形成。

2、挑战

成本与代价

俗话说“天下没有免费的午餐”，任何事物的存在都具有两面性，计算成像技术亦是如此。当设计计算光学成像系统时，必须权衡计算成像和传统成像技术相关的成本代价与预期的功效改善。考虑的成本代价包括：进行非传统点对点强度测量的物理元件的成本、对观测目标多次测量产生的时间成本、数据量以及物理模型和校准与标定对处理性能的影响等。尽管计算成像技术的某些案例能够 (在一定意义上) 简化成像系统，但从整体来看往往并非能够那么轻易下结论。例如：单像素成像技术虽然能够简化探测端，降低了采用大规模阵列探测器的成本，但是却令照明或者光学系统变得复杂化。空间光调制器的引入往往使系统成本不降反升，多次采样所导致时间成本与数据量的增加，重建运算所导致的复杂度往往远高于传统面阵成像技术。另一方面，采用昂贵的专用光学器件代替价格低廉且易于大批量生产的光学透镜其实并非一个明智的选择。

定制化 vs 标准化

光学系统与处理算法的联合设计是计算光学成像系统的标志性特点，这与传统光学成像设备与仪器的模块化、开放式系统设计理念背道而驰。模块化开放式系统设计模式是现代成像技术与系统的一大发展趋势，例如：具有标准化接口的模块化设计可以使佳能单反相机兼容尼康公司所生产的镜头，或在各种硬件平台上，如照相机、手机甚至平板电脑上移植高动态范围成像算法的应用程序。这种接口模块化和标准化设计使光学成像设备的低成本、大规模生产成为可能，促进了包含光学传感器的复杂消费电子设备的普及。计算光学成像的前端与后端联合设计思路恰好与模块化开放式系统设计思路相悖，因此计算光学成像系统必须在功能、性能、实用性或人机界面方面提供压倒性的优势，才有希望未来能够克服这种标准化模块化为主导的设计范式。

技术优势 vs 市场需求

功能与技术的先进性和简单易用便携到底孰更重要？对于科研应用来说，也许前者是最重要的。但是对于商业系统，特别是消费电子类产品来说，后者才是关键。当计算成像技术从学术界走向产业界时，就必须认清现实——商业产品必须具备市场优势，而不仅仅是技术优势。例如：相比较更清晰的图像与更高的分辨率，减少医疗成像中人体对 X 光辐射暴露的时间或减少进站安检 X 光机所需的等待时间往往是消费者更为在意的地方。关于这方面一个众所周知的反例就是光场相机，其所带来的功能优势并不能很好地弥补其在成像质量与易用性上的缺失，导致普通消费人群并没有因为其一系列创新功能而动容买单。

3、发展机会

或许对于研究人员而言，计算光学成像最大的吸引力来自通过计算机与微处理器性能的不断提升使光学成像也能够搭上“摩尔定律”的顺风车，利用强大的“算力”突破物理定律 (如麦克斯韦方程、光学衍射极限、采样定律、不确定性原理等) 的限制与制约。但是对于普通大众而言，更令他们感兴趣的还是计算光学成像所带来的功能与性能方面的提升。为了预测计算光学成像技术对未来成像系统的发展走向的影响，将着重考虑计算光学成像潜在的广泛应用领域：科学仪器、商业工业、国防安全。

科学仪器

科学仪器是科学研究与高端制造业发展所不可或缺的重要工具，是现代工业研发与生产的重要物质支撑，也是物理、化学、材料、生命科学等实验科学数据的根本源头。正如之前所提及的，计算光学成像技术尤其适用于拥有广泛消费基础的昂贵科学仪器设备，而科学与医学领域则是这类高端科学仪器设备的主要集散地。例如，2014 年诺贝尔化学奖被授予具有亚波长成像能力的超分辨率荧光显微成像技术，现阶段已经有众多商业化的科学仪器与产品。对该项技术而言，科研应用对功能和性能提升上的需求远超过计算光学成像所需的数据处理所耗费的代价，这点已经从 X-ray CT 和 MRI 等技术的广泛推广与应用得到证实。在此背景下，计算光学成像技术 (如单像素成像、无透镜成像) 具有非常可观的应用空间。

商业工业

在商业应用方面，手机摄像头与微处理器等高度集成系统为计算光学成像提供了新的机遇。例如，在iPhone X 上集成的用于三维人脸识别的结构光传感器。它包括精密的照明、图像捕捉和微型化的处理芯片。目前智能手机中存在的传感、处理、存储、显示和通信系统紧凑集成，这即将为计算光学成像在移动消费终端的技术落地提供沃土。另一方面，随着触摸屏、手势控制、体感控制的发明，人机界面经历了一场革命。体感控制本质上需要三维成像技术来感知人体或身体部位的位置和姿势，从而实现计算机的远程控制或者游戏交互娱乐。此外，当今概念大热的“元宇宙”作为虚拟世界和现实世界融合的载体，也需要具备“沉浸感、开放性”等特征，计算光学成像 (特别是三维成像技术)、虚拟和增强现实 (VR/AR) 等成为其底层支撑技术。现阶段的三维感知、VR/AR 在产业链成熟度、生态构建等方面，还无法支撑元宇宙的愿景。不过可以预见的是，未来计算光学成像传感技术、显示技术、实时交互等技术将与计算机网络、大数据云计算、操作系统等底层技术更紧密结合并进一步共同发展，从而才能使“元宇宙”为用户提供完美沉浸式体验，助推实现科技与人文的结合，推动游戏、工业、教育及社交等多场景在元宇宙的渐进式发展。

工业应用方面，其目标是工业生产全线的自动化控制，包括设计、生产、加工、装调、检测等。计算光学成像技术在其中也有望充分发挥其优势。例如，基于高精度三维测量技术对流水线上的工件与产品进行合规检测，通过主动三维传感技术提取环境信息，经过计算机处理后进行后续分析并反馈机器人执行装配命令等，从而保证工业自动化生产全链路闭环控制。

国防安全

未来的国家安全与民生保障要求光电成像与探测系统能同时实现高像素分辨率，多模态成像，高灵敏度，大景深，快帧频，而传统光电成像技术对于解决新的未来的反恐维稳、监控安防、国防安全等领域成像探测应用需求所带来的问题已显得力不从心，其具体表现在：光电成像系统在信息获取能力、功能、性能指标等方面的提高过度依赖于探测器技术水平的提高。单一成像系统难以同时实现高灵敏度，大景深，高分辨，快帧频。此外对于传统小视场的成像系统而言，成像分辨率往往最终由光学系统口径所决定。然而传统光学系统设计受限于光学衍射极限，为了实现高分辨率，必须增加光学系统的孔径，而光学系统孔径的不断加大会导致体积、质量不断增加；更重要的是，孔径尺寸的增加往往导致景深与视场尺寸的对应缩减。因此，发展基于计算光学的新概念光电成像与探测机理与方法，指导高精尖光电成像系统的设计，已经成为国防安全领域新一代光电成像技术与系统的重要发展方向。