「前沿应用」事件相机和机器学习辅助纳米成像

在一项新的研究中，印度科学研究所（IISc）的研究人员展示了一种受脑启发的图像传感器如何超越光的衍射极限来检测微小的物体，如细胞成分或当前显微镜不可见的纳米颗粒。他们的新技术将光学显微镜与神经形态相机（iniVation事件相机）和机器学习算法相结合，在精确定位小于50纳米的物体方面迈出了重要一步。研究结果发表在Nature Nanotechnology上。

自从光学显微镜发明以来，科学家们一直在努力超越称为衍射极限的屏障，这意味着如果两个物体小于一定尺寸（通常为200-300纳米），显微镜就无法区分它们。

他们的努力主要集中在修改被成像的分子或开发更好的照明策略上，其中一些获得了2014年诺贝尔化学奖。“但很少有人真正尝试使用探测器本身来尝试超越这个检测极限，”IISc神经科学中心（CNS）副教授，该研究的通讯作者Deepak Nair说。

研究中使用的iniVation的事件相机尺寸约为40mm（高度）×60mm（宽度）x 25mm（直径），重约100克，模仿人类视网膜将光转换为电脉冲的方式，与传统相机相比具有几个优点。在典型的相机中，每个像素捕获相机聚焦在物体上的整个曝光时间内落在其上的光的强度，并且所有这些像素汇集在一起以重建物体的图像。

在神经形态相机（iniVation事件相机）中，每个像素独立且异步运行，仅当落在该像素上的光强度发生变化时才会生成事件或尖峰。与传统摄像机相比，这会产生稀疏且较少的数据量，传统摄像机以固定速率捕获每个像素值，而不管场景中是否有任何变化。

神经形态相机（iniVation事件相机）的这种功能类似于人类视网膜的工作方式，并允许相机以更高的时间分辨率“采样”环境 - 因为它不像普通相机那样受到帧速率的限制 - 并且还执行背景抑制。

“这种神经形态相机具有非常高的动态范围（>120 dB），这意味着您可以从非常低的光线环境进入非常高的光线条件。神经形态相机的异步特性、高动态范围、稀疏数据和高时间分辨率的结合使其非常适合用于神经形态显微镜，“电子系统工程系（DESE）助理教授、IISc、合著者Chetan Singh Thakur解释说。

在目前的研究中，该小组使用他们的神经形态相机（iniVation事件相机）通过以高强度和低强度照射激光脉冲并测量荧光水平的变化来精确定位小于衍射极限的单个荧光珠。随着强度的增加，相机将信号捕获为“ON”事件，而当光强度降低时报告“OFF”事件。来自这些事件的数据汇集在一起以重建帧。

为了准确定位框架内的荧光粒子，该团队使用了两种方法。第一个是深度学习算法，经过大约一百五十万个图像模拟的训练，这些模拟非常代表实验数据，以预测物体的质心可能在哪里，CNS前研究实习生，该研究的第一作者Rohit Mangalwedhekar解释说。还使用小波分割算法分别确定ON和OFF事件的粒子质心。结合两者的预测，团队能够以比现有技术更高的精度将物体的精确位置归零。

“在像自组织这样的biological processes中，你有在随机或定向运动之间交替的分子，或者被固定的分子，”奈尔解释说。“因此，你需要有能力以尽可能高的精度定位这个分子的中心，这样我们才能理解允许自组织的拇指法则。

该团队能够使用该技术密切跟踪荧光珠在水溶液中自由移动的运动。因此，这种方法在精确跟踪和理解生物学、化学和物理学中的随机过程方面具有广泛的应用。