MLST编辑优选:基于离焦深度方法和深度网络的粒子场3D定位和自动聚焦

02 11月 2023 gabriels
本篇研究来自河北工程大学董昭和加拿大阿尔伯塔大学杨绍恺课题组。本研究首次结合深度失焦技术与深度神经网络,实现粒子场的高效三维定位;成功集成了YOLO框架,准确且高效地确定粒子的横向位置;利用生成对抗网络实现目标粒子不同深度的自动对焦,获得清晰焦点图像;在噪声环境中仍然展现出强大的检测与定位性能。

本研究解决了微观粒子研究中三维定位的关键挑战。传统方法在确定纵向位置时遇到困难,而我们的方法结合了深度学习和传统的图像处理技术,克服了这些限制。通过YOLO框架和GANs的集成,我们不仅实现了准确的粒子定位,而且实现了自动对焦,大大提高了粒子图像的清晰度。此外,算法的处理速度极快,适合实时应用。此研究为微观粒子领域提供了一个新的、有效的工具,有望推动相关领域的研究进展。


文章介绍

3D positioning and autofocus of the particle field based on the depth-from-defocus method and the deep networks

Xiaolei Zhang(张小磊), Zhao Dong(董昭), Huaying Wang(王华英), Xiaohui Sha(沙笑慧), Wenjian Wang(王文健), Xinyu Su(苏欣宇), Zhengsheng Hu(胡争胜) and Shaokai Yang(杨绍恺)

通讯作者:

  • 董昭,河北工程大学
  • 杨绍恺,加拿大阿尔伯塔大学

 

研究背景:

微观粒子研究在生物医学、材料科学和环境工程等领域中都具有至关重要的地位。尽管粒子的横向位置可以通过中心定位或对象分割算法获得,但纵向位置的确定仍然是一项挑战。过去的研究已经提出了多种方法来解决这一问题,如多粒子成像法、数字全息术等,但这些方法往往效率不高,准确性也受到限制。近年来,深度学习在图像处理和识别领域取得了显著的进展,但在微观粒子研究中的应用仍处于起步阶段。我们认为,通过将深度学习技术与传统的粒子定位技术相结合,可以有效提高三维定位的准确性和效率。

因此,本研究的主要目的是探索和开发一种新的方法,结合深度失焦技术与深度神经网络,为微观粒子提供高效、准确的三维定位。此外,我们还希望通过集成先进的物体检测框架和生成对抗网络,实现对目标粒子不同深度的自动对焦,从而进一步提高粒子图像的清晰度和定位精度。

 

研究内容:

1.深度失焦技术与神经网络结合: 我们首次尝试将深度失焦技术与深度神经网络结合,为微观粒子的三维定位提供了新的视角。

2.高效的物体检测框架: 为了更精确地确定粒子的横向位置,我们引入了“你只看一次” (YOLO) 的物体检测框架。

3.自动对焦技术的改进: 我们采用了生成对抗网络 (GANs) 技术来提高目标粒子不同深度的自动对焦能力,确保获得清晰的焦点图像。

 

实验或理论方法:

我们对多种样本进行了测试,包括合成粒子、聚苯乙烯粒子、血细胞和浮游生物。在噪声环境中,我们的方法仍然展现出卓越的性能。为了验证我们的方法,我们还与传统的粒子定位方法进行了对比实验。

 

取得的成果:

1.快速处理: 我们的算法可以在0.008秒内处理单个多目标图像,实现实时应用。

2.高精度定位: 不仅可以提供粒子的横向位置信息,还能在噪声环境中准确检测粒子的纵向深度。

3.清晰的焦点图像: 通过使用GANs,我们实现了对目标粒子不同深度的自动对焦,获得了高清晰度的图像。

 

研究的重要性:

1.推动微观粒子研究: 我们的研究方法为微观粒子研究提供了一种新的、高效的工具,将大大推动这一领域的发展。

2.广泛的应用前景: 由于其高效、准确的特点,我们的方法在生物医学、材料科学等多个领域都有广泛的应用前景。

3.技术创新: 通过结合深度学习和传统图像处理技术,我们为粒子的三维定位和自动对焦提供了一种创新方法。


作者介绍

  • 董昭博士,男,2011年7月于北京大学凝聚态物理专业获得理学博士学位。其主要招生方向为光学工程与物理学,研究重点集中在数字全息技术及其应用领域。在科研领域,董博士主导的“基于数字全息显微术的大气中可吸入颗粒物监测技术研究”项目获得河北省科技支撑计划的资助并荣获首位,此外,其在“数字全息定量成像与可视化检测技术及应用”研究中也取得了显著成果,该项研究被授予河北省科技进步二等奖。
  • 杨绍恺博士在多篇科研论文中担任主要作者或合作作者,这些论文涉及深度学习应用。在他的研究职业生涯中,他已经与全球多个知名研究机构和大学建立了紧密的合作关系。

期刊介绍

Machine Learning: Science and Technology

  • 2022年影响因子:6.8  Citescore:7.1
  • Machine Learning: Science and Technology (MLST)是一本跨学科期刊,致力于发表智能机器在物理、材料科学、化学、生物学、医学、地球科学、天文学和工程学等多学科领域的应用和发展。涉及领域包括:物理学和空间科学;设计和发现新材料和分子;材料表征技术;模拟材料、化学过程和生物系统;原子和粗粒度模拟;量子计算;生物学、医学和生物医学成像;地球科学(包括自然灾害预测)和气候学;模拟方法和高性能计算。同时,也包括机器学习方法在概念上的新进展:新的学习算法;深度学习架构;核心方法;概率和贝叶斯方法;生成方法;强化和主动学习;经常性和基于时间结构的方法;神经启发方法(包括神经形态计算)。