详情

清华大学精仪系类脑计算研究中心在类脑视觉感知芯片领域取得重要进展

来源:清华大学2024/6/7 8:36:2146
导读
清华大学精密仪器系类脑计算研究中心聚焦类脑视觉感知芯片技术,提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。
  随着人工智能的飞速发展,无人驾驶和具身智能等无人系统正在现实社会中不断推广应用,引领着新一轮科技革命和产业变革。在这些智能系统中,视觉感知作为获取信息的核心途径,发挥着至关重要的作用。然而,在复杂多变且不可预测的环境中,实现高效、精确且鲁棒的视觉感知依然是一个艰巨的挑战。
 
  在开放世界中,智能系统不仅要处理庞大的数据量,还需要应对各种极端事件,如驾驶中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等。传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制,在应对这些场景时往往面临失真、失效或高延迟的问题,严重影响了系统的稳定性和安全性。
 
  为了克服这些挑战,清华大学精密仪器系类脑计算研究中心聚焦类脑视觉感知芯片技术,提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。该范式借鉴了人类视觉系统的基本原理,将开放世界的视觉信息拆解为基于视觉原语的信息表示,并通过有机组合这些原语,模仿人视觉系统的特征,形成两条优势互补、信息完备的视觉感知通路。基于这一新范式,团队进一步研制出了世界首款类脑互补视觉芯片“天眸芯”,在极低的带宽(降低90%)和功耗代价下,实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。它不仅突破了传统视觉感知范式的性能瓶颈,而且能够高效应对各种极端场景,确保系统的稳定性和安全性。基于“天眸芯”,团队还自主研发了高性能软件和算法,并在开放环境车载平台上进行了性能验证。在多种极端场景下,该系统实现了低延迟、高性能的实时感知推理,展现了其在智能无人系统领域的巨大应用潜力。
 
  “天眸芯”的成功研制无疑是智能感知芯片领域的一个重大突破。它不仅为智能革命的发展提供了一个强大的技术支持,还为自动驾驶、具身智能等重要应用开辟了新的道路。结合团队在类脑计算芯片“天机芯”、类脑软件工具链和类脑机器人等方面已应用落地的技术积累,“天眸芯”的加入将进一步完善类脑智能生态,有力地推动人工通用智能的发展。
 
  5月30日,基于该研究成果的论文“面向开放世界感知、具有互补通路的视觉芯片”(A Vision Chip with Complementary Pathways for Open-world Sensing)作为封面文章,登上《自然》(Nature)杂志。这是该团队继异构融合类脑计算“天机芯”后,第二次登上《自然》杂志封面,标志着我国在类脑计算和类脑感知两个重要方向上均取得了基础性突破。
 
类脑互补视觉感知芯片“天眸芯”
 
自动驾驶感知演示平台
 
  清华大学精密仪器系施路平教授和赵蓉教授为论文通讯作者,精密仪器系杨哲宇博士(现为北京灵汐科技有限公司研发经理)、精密仪器系2020级博士生王韬毅、林逸晗为论文共同第一作者。清华大学为论文第一单位,合作单位包括北京灵汐科技有限公司。
 
  该研究得到了科技部科技创新2030“脑科学与类脑研究”重大项目和国家自然科学基金委的支持,也得到了清华大学/IDG-麦戈文脑科学研究院的支持。

版权与免责声明:凡本网注明“来源:兴旺宝”的所有作品,均为浙江兴旺宝明通网络有限公司-兴旺宝合法拥有版 权或有权使用的作品,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:兴旺宝”。违反上述声明者,本网将追究其相关法律责任。 本网转载并注明自其它来源(非兴旺宝)的作品,目的在于传递更多信息,并不代表本网赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

展开全部
热门评论
相关新闻