DVS视频
DVS简介
这些视频解释了动态视觉传感器(DVS)的概念。

动态视觉传感器简介

这个视频介绍了动态视觉传感器

Delbruck教授在2015年IBM研究研讨会上的讲话

Tobi Delbruck教授在2015年IBM研究研讨会上详细介绍了动态视觉传感器(DVS)技术。视频来自:IBM research

高性能特性
这些视频展示了动态视觉传感器(DVS)的高性能特性。

旋转的硬币

一枚硬币以每分钟750转的速度在桌子上旋转。视频显示在jAER中以大约比实时慢100倍的速度播放录制,每个渲染帧显示在大约300 us中生成的事件。视频来自:Sim Bamford

牛奶下滴

DVS128记录了滴下的牛奶。慢回放显示了高的时间精度。视频来自:Tobi Delbruck

10kHz闪烁的LED

DVS128前面的LED以10 kHz的频率闪烁。时空可视化(从7秒到12秒)显示由一小群像素捕获的LED的单个开和关事件。视频来自:Greg Burman

捕捉被抛出的球

DAVIS240A捕捉了一个被抛出的球。绿色和红色的开和关事件覆盖在灰度帧上。视频来自:Christian Braendli and Tobi Delbruck

雨中带球的人 — 滚动时空模式

DAVIS240C捕捉到一名男子在雨中投掷一个球(加速)。第二个播放是在jAER的滚动时空模式下,显示事件流中固有的稀疏数据。视频来自:Sim Bamford

透过太阳镜眨眼

DAVIS240C在APS+DVS模式下使用(静态图像帧加动态事件)。虽然通过太阳镜在标准曝光下很难看到眼睛,但动态事件流清楚地识别出了6次眨眼。视频来自:Sim Bamford

桌面的阴影处(高动态范围)

DAVIS240C高动态范围的演示。一个书桌的场景,看里面的一个盒子,其中一半的标志是模糊的正常视频流。在第二次扫描桌面时,动态事件被覆盖,隐藏的一半标志和桌上的电缆都清晰可见。视频来自:Sim Bamford

日食

2015年3月,我们有机会使用高动态范围的DVS拍摄日食。日偏食在背景中,一只手在前面挥舞。你可以看到镜头光斑,这是由于光学导致。由于曝光过度,画框中的太阳周围也会绽放出花朵,但DVS在勾勒出手指轮廓的同时,会挑出太阳与月亮和天空的真实边缘。视频来自:Marc Osswald, Tobi Delbruck and Sim Bamford

稳定动态事件输出

利用机载IMU速率陀螺稳定DAVIS240B神经形态事件摄像机的动态事件输出。参考资料:T. Delbruck, V. Villanueva, and L. Longinotti, “Integration of dynamic vision sensor with inertial measurement unit for electronically stabilized event-based vision,” in ISCAS, 2014, pp. 2636–2639 pdf. 自这项工作以来,inilabs已经将IMU数据流集成到了FPGA中,以便IMU和DVS时间戳同步,从而允许更好的去旋转矫正。视频来自:Tobi Delbruck

技术演示(DEMO)

机器人守门员

机器人守门员。从20秒开始,你可以看到DVS看到的东西,以及jAER中实现的实时跟踪算法。参考资料:Tobi Delbruck and Manuel Lang. “Robotic goalie with 3 ms reaction time at 4% CPU load using event-based dynamic vision sensor.” Neuromorphic Engineering Systems and Applications (2015): 16. pdf 。视频来自:Tobi Delbruck

轨道赛车

2014年卡波卡西亚神经形态工程研讨会轨道赛车项目。它使用DAVIS240来跟踪车辆,延迟小于1毫秒,笔记本电脑CPU利用率小于5%。视频来自:Tobi Delbruck

基于卷积神经网络的视觉化EU项目捕食机器人

DAVIS240事件和帧输入(左),和捕食者机器人的卷积神经网络活动(右)。输入为36×36APS或DVS帧,网络在4个输出单元前有3个卷积层和1个40-神经元全连接层。参考资料:Moeys, Diederik Paul, et al. “Steering a Predator Robot using a Mixed Frame/Event-Driven Convolutional Neural Network.” pdf.视频来自:Tobi Delbruck

嵌入式平衡铅笔机器人

嵌入式视觉引导铅笔平衡器机器人。使用2个DVS硅视网膜和600mW微控制器计算来平衡正常铅笔.视频来自:Tobi Delbruck

网球运动员击球跟踪

DVS在跟踪人体运动方面优于传统的视频技术。网球运动员在DAVIS240B前回球。第一次回球时,只有画面可见,球只出现在两个画面中,根本看不到球的向外路径。在第二局中,通过动态事件叠加,身体运动以及球的轨迹的精细时间细节清晰可见。视频来自:Tobi Delbruck

算法与方法
我们和我们的合作者开发了各种算法和方法来处理动态视觉传感器的异步事件流。

脉冲激光线三维重建

DVS与脉冲激光线一起用于三维地形重建。这段视频是论文的补充材料:C. Brandli, T. Mantel, M. Hutter, M. Hopflinger, R. Berner, R. Siegwart, and T. Delbruck, “Adaptive Pulsed Laser Line Extraction for Terrain Reconstruction using a Dynamic Vision Sensor,” Frontiers in Neuromorphic Engineering, accepted 2013. pdf

运动对比度三维扫描

运动对比度三维扫描。(西北大学计算摄影实验室的Nathan Matsuda和Oliver Cossairt的工作。)一种新的结构光技术,最大化带宽和光源功率,以避免性能的折损。所提出的方法将允许三维视觉系统部署在具有挑战性且迄今无法访问的现实世界场景中,这些场景需要使用有限的功率和带宽来获得高性能。

同时光流和光强估计

基于纯事件数据的平滑每像素速度和强度的联合估计。这种方法允许在任意时间率下重建HDR视频的强度和光流。参考资料:P. A. Bardow, A. J. Davison and S. Leutenegger. “Simultaneous Optical Flow and Intensity Estimation from an Event Camera.” CVPR 2016. pdf

基于流形正则化的事件摄像机实时强度图像重建

一种精确模拟事件摄像机行为的变分模型,能够实时重建具有任意帧率的强度图像。参考资料:Reinbacher C, Graber G, Pock T. “Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation.” arXiv preprint arXiv:1607.06283 (2016). pdf

最好SLAM?在HDR和高速场景中结合事件、图像和IMU实现可视SLAM

在恶劣的照明条件下,使用帧和DVS事件的高速SLAM。参考资料:osinol et al. 2018 pdf

神经形态感知与处理
动态视觉传感器有很多流行的神经形态处理器的接口,能够实现极低的延迟和高能效的系统。

DVS+SpiNNaker:线跟踪机器人

来自曼彻斯特大学的机器人由SpiNNaker系统(曼彻斯特大学)上的神经网络控制。视觉输入通过DVS输入神经元的视网膜脑图中,运动控制通过模拟运动神经元的放电率获得。视频来自:Francesco Galuppi

DVS+Brainchip:公路监测的无监督学习

监测高速公路的DAVIS240B被输入Brainchip的尖峰学习神经网络仿真器,执行无监督学习。视频来自:Brainchip

DVS+IBM-TrueNorth:三星的手势识别

三星的Eric Ryu展示了一个动态视觉传感器和IBM的True North神经网络硬件一起工作来演示低功耗手势识别。视频来自:VentureBeat