自动化系合作开发新型智能显微成像技术
新清华 2023年03月24日 第2282期 学术前沿
合理化深度学习超分辨显微成像技术文章封面与神经网络架构。
本报讯 近日,清华大学自动化系、清华大学脑与认知科学研究院、清华-IDG/麦戈文脑科学研究院戴琼海课题组,联合中国科学院生物物理研究所李栋课题组、美国霍华德休斯医学研究所詹妮弗·利平科特-施瓦茨(Jennifer LippincottSchwartz)博士提出了一套合理化深度学习显微成像技术框架,将光学成像模型及物理先验与神经网络结构设计相融合,合理化网络训练、预测过程,从而实现了高性能、高保真的显微图像去噪与超分辨重建,并结合实验室自主研发、搭建的多模态结构光照明显微镜与高速晶格光片显微镜,将传统超分辨活体成像速度与时程提升30倍以上,实现了当前国际最快(684Hz)、成像时程最长(可达3小时、60,000时间点以上)的活体细胞成像性能,首次对高速摆动纤毛(>30Hz)中转运蛋白的多种运输行为,以及完整细胞分裂过程中核仁液液相分离过程进行快速、多色、长时程、超分辨观测。
具体而言,研究团队提出的合理化深度学习结构光超分辨重建架构(rDL SIM)采用分步重建策略,首先利用所提出的融合成像物理模型和结构光照明先验的神经网络对原始SIM图像进行去噪和高频信息增强,然后再通过经典解析算法进行SIM重建以获得最终的超分辨图像。相比于其他去噪算法,该方法可完美恢复出调制在原始图像中的莫尔条纹,并将高频信息增强10倍以上。
此外,研究团队提出了一种可学习的傅立叶域噪声抑制模块,该模块可以利用光学传递函数信息对显微图像中的噪声进行自适应滤除。同时提出了时空交织采样自监督训练策略,可实现媲美监督学习效果的去噪神经网络的训练,解决了实际生物成像实验中高质量训练数据难以获取的难题。
合理化深度学习超分辨显微成像方法能够适用于包括二维/三维结构光照明显微镜、晶格光片显微镜等在内的多种显微成像模态,提供高分辨率、高保真的显微图像重建性能,相较于传统方法大幅提升成像时程和速度。
近日,研究成果以“基于合理化深度学习超分辨显微成像的快速、长时程活体亚细胞过程观测”为题发表在《自然·生物技术》(Nature Biotechnology)期刊上。该期刊以封面文章的形式对这一研究成果进行报道,同时发表了研究简述文章对其重点介绍。戴琼海、李栋和詹妮弗·利平科特-施瓦茨为共同通讯作者。清华大学自动化系博士后乔畅,中国科学院生物物理所正高级工程师李迪、助理研究员刘勇、张思微为共同第一作者。(自动化系)