用于自动网格验证的装置和方法与流程

用于自动网格验证的装置和方法

背景技术：

1.带电粒子显微镜在工业上用于形成样品并执行后续成像和分析通常使用一种工艺来形成薄片并将薄片安装在成像夹具上。这些夹具可以包含指定用于安装薄片的柱。鉴于薄片和夹具的微观尺寸，重要的是要评估夹具以确定它们实际上是否可用。例如，需要检查指定用于附接薄片的柱上的位置，以确保它们在附接薄片之前没有缺陷或污染。如果无意中使用了此类有缺陷或受污染的柱，则可能无法对薄片进行成像，从而导致浪费机会、时间和费用。尽管大多数验证过程传统上可以由熟练的用户执行，但是此类工作是耗时的并且取决于用户的技能。因此，在这些行业中需要自动网格评估。
附图说明
2.通过以下结合附图的详细描述，将容易地理解各实施例。为了便于描述，相同的附图标记指示相同的结构元件。各实施例在附图的图中以举例而非限制的方式展示。
3.图1是根据本公开的实施例的示例双束带电粒子显微镜。
4.图2a和2b是示例半月形网格。
5.图3是说明根据当前位置的实施例的各种网格验证过程的示例工作流。
6.图4a是用于分割图像的cnn的初始输入和输出的示例。
7.图4b、4c和4d分别示出翻转网格、弯曲网格和倾斜网格/柱的示例。
8.图5a示出分割cnn的初始输入和输出的示例。
9.图5b、5c、5d和5e分别示出已经安装在焊接位置的薄片、污染和焊接位置、弯曲柱以及良好柱与弯曲柱的比较的示例。
10.图6是根据本文所公开的各种实施例的用于执行支持操作的科学仪器支持模块的框图。
11.图7是根据各种实施例的执行支持操作的方法的流程图。
12.图8是根据各种实施例的可以执行本文所公开的科学仪器支持方法中的一些或所有科学仪器支持方法的计算设备的框图。
13.图9是根据各种实施例的可以在其中执行本文所公开的科学仪器支持方法中的一些或所有科学仪器支持方法的示例科学仪器支持系统的框图。
具体实施方式
14.本文公开了科学仪器支持系统，以及相关的方法、计算设备和计算机可读介质。例如，在一些实施例中，使用一种或多种计算算法来定位网格及其柱，确定每个柱上的焊接位置是否可行，以及存储与将每个焊接位置定位在科学支持仪器的处理位置相关联的载物台位置。确定焊接位置是否可行包含使用一种或多种算法来评估网格柱和焊接位置的状况，并记录被评估为可用的每个焊接位置的载物台位置。在一些示例中，科学支持仪器是双束带电粒子显微镜（db cpm），其包含聚焦离子束（fib）柱和扫描电子显微镜（sem）柱，其中网格安装在db cpm的可移动载物台上，所述可移动载物台针对且用于安装薄片以例如通过透
射电子显微镜（tem）或扫描透射电子显微镜（stem）进行后续成像分析。
15.本文所公开的科学仪器支持实施例可以实现相对于常规方法的改进的性能。例如，传统方法依赖于熟练的技术人员来执行通过所公开技术自动化的所有任务，这是低效的并且容易出现用户错误。在操作时间和准确性方面出现效率低下，而额外错误则是由于例如图像的错误解释。所公开的技术使薄片提取工作流的重要方面自动化，应该会提高工作流的准确性，并且还可以增加吞吐量。
16.在以下详细描述中，对附图进行了参考，所述附图形成所述详细描述的一部分，其中相同的标记自始至终指示相同的部分，并且在附图中通过图示的方式示出了可实践的各实施例。应理解，在不脱离本公开的范围的情况下，可利用其它实施例，并且可进行结构或逻辑改变。因此，以下详细描述不应视为具有限制意义。
17.可按最有助于理解本文所公开的主题的方式依次将各种操作描述为多个离散的动作或操作。然而，所描述的顺序不应被解释为暗示这些操作必须依赖于顺序。具体地，这些操作可不按呈现顺序执行。所描述的操作可按与所描述的实施例不同的顺序来执行。可执行各种另外的操作，和/或可在另外的实施例中省略所描述的操作。
18.为了本公开的目的，短语“a和/或b”和“a或b”意指（a）、（b）或（a和b）。为了本公开的目的，短语“a、b和/或c”和“a、b或c”意指（a）、（b）、（c）、（a和b）、（a和c）、（b和c）或（a、b和c）。尽管一些元件可按单数形式表示（例如，“处理设备”），但任何适当的元件均可由所述元件的多个示例来代表，并且反之亦然。举例来说，描述为由处理设备执行的一组操作可按由不同处理设备执行所述操作中的不同操作来实施。
19.使用短语“一实施例”、“各种实施例”和“一些实施例”的描述中的每一个可指代相同或不同实施例中的一个或多个。此外，如关于本公开的实施例所使用的术语“包括”、“包含”、“具有”等是同义的。当用于描述尺寸范围时，短语“介于x与y之间”代表包含x和y的范围。如本文所用，“装置”可指代任何单独的设备或设备的集合。附图不一定按比例绘制。
20.所公开的技术包括为鉴定加载到db系统中的网格是否可用于附接薄片而采取的分析步骤。换句话说，所公开的技术包含通过分析验证网格及其网格柱，以及验证整个网格或每个单独的网格柱对于薄片附接是可行的。先前的解决方案包含由熟练的技术人员进行大量手动操作和分析，以确定网格是否正确加载、网格柱是否按需要定向并且没有缺陷和污染，从而可以将薄片焊接到网格柱上的期望位置。如果网格定向错误，即旋转或平移和/或加载是否是翻转定向，则技术人员需要使用载物台移动将网格移动到期望位置以解决旋转/平移问题，但在加载不正确的情况下需要排出系统并翻转网格。需要注意网格柱上的污染区域，因此它们不用于薄片焊接。尽管熟练的技术人员可以执行期望的分析和校正，但此类工作很耗时。需要更自动化的网格验证过程。
21.所公开的技术利用各种图像分析算法，其中一些或全部可以使用机器学习或人工神经网络来实施，以执行网格验证工作流。工作流可以不同的步骤进行，但会产生识别多个可用的柱位置以及每个可用位置的相关联载物台坐标。例如，分析具有三个柱且每个柱具有三个可能焊接位置的网格，以确定哪些可能的焊接位置是可用的，例如是无缺陷且无污染的，并且存储将每个焊接位置移动到db操作位置的载物台位置。分析后，db可以从db室中的样品中挑选出薄片，并在无需用户指导的情况下自动将它们焊接到可用的柱位置。然后系统可以行进通过每个可用焊接位置来放置薄片。
22.整个工作流可以将安装在可移动载物台上的网格定位在sem和/或fib柱下方，使得可以获取网格的图像。可以执行初始分析以确定网格是否正确加载到网格支架中。不正确加载是网格处于翻转定向，即网格从前到后不对称，并且前侧旨在面向sem和fib柱。需要注意的是，前后对称网格可能不需要此步骤。如果网格加载错误，则可能需要排出系统，以便用户可以物理地重新定向网格。替代地，可以接合机械翻转机构以重新定向网格。
23.在正确安装网格的情况下，工作流可以继续将网格平移到期望位置，以便识别所有网格柱。在一些实施例中，柱的数量由算法先验已知，因此通过分析图像，可以快速确定是否所有网格都是可观察的。如果不是，则系统可以移动载物台，获取另一图像并执行分析。可以重复这些步骤，直到网格至少大致处于正确位置。替代地，如果算法是在已经针对不同网格类型（例如，具有不同柱大小和间距的不同数量的柱）训练的ml/ai模型中实施的，则系统可以确定网格的类型以及网格是否正确定位。如果定位不正确，可能会重复相同的移动、成像、分析步骤，直到网格处于期望位置。
24.一旦执行了网格的“总体”定位，就可以执行网格定向的更精细定位，例如旋转和/或倾斜。在一些示例中，可以同时执行粗定向和精细定向。定位还可以产生确定每个柱的位置以及每个柱位置的相关联载物台位置向量。一般来说，柱位置是期望的信息，因为柱是焊接薄片的位置。
25.定位柱后，将进一步分析每个柱的缺陷、污染和评估焊接位置。缺陷分析确定柱是否遭受任何物理损坏，物理损坏可能是由于处理或制造问题导致的。例如，柱可能在任何方向弯曲或包含缺陷，例如毛刺或缺少材料。除了缺陷之外，还使用算法来评估柱是否因处理等原因而被碎屑污染，以及碎屑（如果存在）是否侵入焊接位置。需要注意的是，也识别通常位于柱的顶部、左侧和右侧的焊接位置，这有助于确定焊接位置是否可用。如果柱有缺陷，则整个柱可被视为不可用的。然而，如果仅存在碎屑，则可以基于碎屑的大小和碎屑相对于每个焊接位置的接近度将焊接位置中的一个、两个或三个识别为可用的。在一个示例中，大于实际薄片的区域可以被识别为焊接位置，并且在所识别的焊接位置内的任何碎屑都可能使焊接位置不合格从而成为不可用的。
26.除了确定每个柱是否包含可用的焊接位置之外，算法还可以确定薄片是否已经被焊接到焊接位置的柱上。例如，如果由于实验室错误而以某种方式重复使用使用过的网格，则可能会发生这种情况。已经存在薄片的柱将被视为不可用的。
27.在确定所有柱和相关焊接位置的特征之后，系统存储每个可用焊接位置的物理载物台位置，以便在薄片取出和焊接期间，系统可以自动导航到每个焊接位置以在其上焊接薄片。
28.图1是根据所公开实施例的示例双束系统100。尽管下面提供了合适硬件的示例，但本发明不限于在任何特定类型的硬件中实施。相反，本文所公开的技术可以在将薄片或类似尺寸的样品安装到结构上以用于后续分析的任何仪器上实施。本文使用的示例可以是取自半导体样品并安装到通常称为半月形网格的柱上的薄片。网格可以转移到tem进行成像，或者可以在stem中成像。在一些示例中，stem成像可以由形成薄片并执行本文所公开的网格验证工作流的db系统来执行。
29.扫描电子显微镜（sem）141连同电源和控制单元145与双束系统100一起提供。通过在阴极152和阳极154之间施加电压，电子束143从阴极152发射。电子束143借助于聚光透镜
156和物镜158聚焦到细点。电子束143借助于偏转线圈160在样品上进行二维扫描。聚光透镜156、物镜158和偏转线圈160的操作由电源和控制单元145控制。
30.电子束143可聚焦到基板122上，所述基板位于下腔室126内的可移动x-y载物台125上。当电子束中的电子撞击基板122时，发射二次电子。如下面所讨论，这些二次电子由二次电子检测器140检测。如上文所讨论，位于tem样品架124和载物台125下方的stem检测器162可收集通过安装在tem样品架上的样品传输的电子。
31.双束系统110还包含聚焦离子束（fib）系统111，所述聚焦离子束（fib）系统包括具有上颈部分112的真空室，在所述真空室中放置离子源114以及包含引出电极和静电光学系统的聚焦柱116。聚焦柱116的轴线与电子柱的轴线倾斜52度。离子柱112包含离子源114、引出电极115、聚焦元件117、偏转元件120和聚焦离子束118。聚焦离子束118从离子源114穿过聚焦柱116，并且在以120示意性指示的静电偏转工具之间朝向基板122，所述基板包括例如位于下腔室126内的可移动x-y载物台125上的半导体设备。
32.载物台125可优选地在水平面（x和y轴线）中移动并竖直地（z轴线）移动。载物台125也可倾斜大约六十（60）度并绕z轴旋转。在一些实施例中，可使用单独的tem样品载物台（未示出）。这类tem样品载物台也将优选地可在x、y和z轴上移动。tem样品架124可用于保持tem半月形网格（本文简称为“网格”），所述网格用于安装薄片以进行随后的s/tem成像。打开门161以将基板122插入到x-y载物台125上并且还用于将一个或多个网格加载到tem样品架124上。将门互锁，以致如果系统处于真空下，则无法将门打开。
33.采用离子泵168来抽真空颈部112。在真空控制器132的控制下，将腔室126用涡轮分子和机械抽吸系统130抽真空。真空系统在腔室126内提供大约1
×
10-7托和5
×
10-4托之间的真空。如果使用蚀刻辅助气体、蚀刻延迟气体或沉积前驱气体，则腔室背景压力可升高，通常升高到约1
×
10-5托。
34.高压电源向聚焦柱116中的电极提供适当的加速电压，用于激励和聚焦离子束118。当它撞击基板122时，材料被溅射，即从样品物理喷射。替代地，离子束118可以分解前驱气体以使材料沉积。
35.高压电源134连接到液态金属离子源114以及离子束聚焦柱116中的适当电极，用于形成大约1 kev至60 kev的离子束118并将其导向样品。根据由图案生成器138提供的规定图案操作的偏转控制器和放大器136与偏转板120联接，由此可以手动或自动地控制离子束118以在基板122的上表面上描绘出对应的图案。在一些系统中，偏转板放置在最终透镜之前，如本领域公知的。当消隐控制器（未示出）向消隐电极施加消隐电压时，离子束聚焦柱116内的束消隐电极（未示出）使离子束118撞击到消隐孔（未示出）而不是基板122上。
36.液态金属离子源114通常提供镓的金属离子束。源通常能够在基板122处聚焦成亚十分之一微米宽的束，用于通过离子铣削、增强蚀刻、材料沉积而修改基板122，或者用于对基板122进行成像。
37.用于检测二次离子或电子发射的带电粒子检测器140，如everhart thornley或多通道板，连接到视频电路142，所述视频电路向视频监测器144提供驱动信号并从系统控制器119接收偏转信号。带电粒子检测器140在下腔室126内的位置可以在不同的实施例中变化。例如，带电粒子检测器140可以与离子束同轴并且包含用于允许离子束通过的孔。在其它实施例中，二次粒子可通过最终透镜收集，然后偏转离轴以进行收集。
38.显微操纵器147可以精确地移动真空腔室内的物体。显微操纵器147可以包括定位在真空腔室外部的精密电马达148，以提供对定位在真空腔室内的部分149的x、y、z和θ控制。显微操纵器147可以装配有用于操纵小物体的不同末端执行器。在本文所述的实施例中，末端执行器是细探针150。
39.气体输送系统146延伸到下腔室126中，用于将气态蒸气引入并导向基板122。转让给本发明受让人的授予casella等人的“用于粒子束处理的气体输送系统（gas delivery systems for particle beam processing）”的第5,851,413号美国专利描述了合适的气体输送系统146。也转让给本发明受让人的授予rasmussen的“气体喷射系统（gas injection system）”的第5,435,850号美国专利中描述了另一种气体输送系统。例如，可以输送碘以增强蚀刻，或者可以输送金属有机化合物以沉积金属。
40.系统控制器119控制双束系统110的各个部分的操作。通过系统控制器119，用户可以通过输入到常规用户界面（未示出）中的命令使离子束118或电子束143以期望的方式进行扫描。替代地，系统控制器119可以根据存储在存储器121中的编程指令控制双束系统100。在一些实施例中，双束系统100并入图像识别软件以自动识别所关注的区域，然后系统可以根据发明手动或自动地确定这些感兴趣区域的可用状态。例如，系统可以自动定位安装在tem样品架124上的网格并确定网格的质量、每个柱是否可用，以及每个柱上的每个所识别的焊接位置是否可用。对于每个可用的焊接位置，存储例如以x、y、z、α和θ表示的相关联载物台坐标以用于自动检索和导航。如本文所使用，α和θ是指载物台倾斜和载物台旋转。
41.在一些示例中，db系统100可以经由网络172耦合到远程计算设备170。远程计算设备170可以保存用于实施本文所公开的深度学习技术的代码和模型，和/或代码和模型可以存储在存储器121中。无论哪种方式，代码和模型都可能包含预先训练或未经训练的人工神经网络（ann），以帮助验证网格和网格柱用于接受薄片。在一些示例中，ann可以实施为多个卷积神经网络（cnn），用于执行用于验证网格的特定图像识别任务。例如，第一cnn（cnn1）可以包含用于网格柱检测和本文所公开的一些质量验证的分割模型。第二cnn（cnn2）可以包含用于网格放置检测的分类器模型，其输出指定模型对网格是否正确放置的置信度的百分比。第三cnn（cnn3）包含输出在图像中发现的薄片分段的分割模型，所述分割模型还用于确定薄片是否已经处于焊接位置。第四cnn（cnn4）包含输出在图像中发现的污染分段的分割模型。
42.例如，在操作中，控制器使载物台移动，使得其上安装有网格的tem架124处于用于利用sem 141成像的位置。可以在各种视场（fov）处获取网格的一个或多个图像，但这些图像可处于宽fov和相关联的低放大率，以便在图像中捕获整个网格。或者，可以基于载物台移动获取网格应位于何处的低放大率、宽fov图像。然后使用各种cnn分析图像以确定网格的柱是否可用，例如是否有效，并进一步确定每个焊接位置是否可用。对于每个可用位置，存储相关联载物台向量以供以后检索，而忽略不可用的位置。
43.图2a和2b是示例半月形网格。图2a示出包含主体203a和多个柱205a的半月形网格201a。每个柱205a具有宽度w并且分开距离d。每个柱205a可以具有三个位置，这些位置可以潜在地用于将薄片焊接到其上。例如，位置a、b和c可用于潜在的焊接位置。图2b示出半月形网格201b，其具有与网格201a相同的特征，但具有比柱205a更大且不同间隔的更少的柱205b。然而，柱205b可以具有与柱205a相同的潜在焊接位置。
44.图3是说明根据当前位置的实施例的各种网格验证过程的示例工作流301。工作流301可以在将薄片转移到网格的仪器上实施，并且工作流可以被实施为使得只使用具有可用焊接位置的网格柱来附接薄片。通常，工作流301在存储可用焊接位置的载物台位置之前进行一系列确定。一些确定可能在逻辑上遵循某一顺序，但一些确定可能在任何时间执行。
45.工作流301可以被描述为具有两个主要功能方面——网格验证方面和网格柱验证方面。网格验证方面分析网格的一个或多个图像以确定网格是否正确加载、网格相对于预期位置的位置以及网格是否倾斜。不正确加载的网格是以翻转定向加载的网格。网格是否位于预期位置可以基于图像中显示的柱数量是否与预期柱数量匹配，并且进一步基于每个柱的位置与图像相关的程度。当加载到系统中时，网格也可以倾斜和/或旋转，这可以从图像中确定。
46.关于工作流301的网格柱验证方面，分析网格的一个或多个图像以定位潜在的焊接位置并进一步分析以确定焊接位置是否可用。定位预设网格位置，并且所识别的区域可能大于实际薄片，以确保分析考虑到放置的可变性并减少任何污染的侵入。此外，还会分析网格的污染情况、是否有任何柱有缺陷，以及薄片是否已经位于焊接位置。侵入焊接位置的污染可能导致该焊接位置被视为不可用，但不影响焊接位置的一般污染可被忽略。执行薄片是否已经在焊接位置的确定以确保无意中使用了使用过的网格，这将使这样的焊接位置（如果不是网格）不可用。还可以对柱状况进行进一步分析。最后，例如，基于柱的整体形状监测有缺陷的柱以确定柱是否弯曲。在识别有效焊接位置后，工作流可以结束于与将每个有效的（例如可用的）焊接位置定位在由例如带电粒子束进行处理的位置相关联地存储载物台位置。
47.如所指出的，可以使用由一个或多个处理器执行的计算代码来实施网格验证和网格柱验证过程。此类代码可以实施传统的图像处理技术，包含基于图像分析的适当决策逻辑。替代地，可以使用具有经过训练的模型的一个或多个cnn来实施这些过程，以做出期望确定。
48.对于工作流301的网格验证步骤，可以使用cnn来做出关于网格的期望确定。例如，使用上面关于图1讨论的cnn，cnn2可用于评估网格是否正确放置在网格架上。（应注意，网格放置在网格和网格柱验证阶段都进行了分析，这确保以显著更高的精度检测到放置不当的网格。）cnn1可用于弯曲网格检测，它使用检测到的网格柱上部尖端作为点，然后使用线性回归计算抛物线系数和线系数，在此基础上进行评估以确定网格是否弯曲。此外，cnn1还可用于使用网格柱底部位置作为点来确定网格是否倾斜，利用线性回归计算网格倾斜。在一些示例中，
±
3度的网格倾斜是确定网格倾斜的阈值。当然，可以设想和使用其它阈值。通常，网格验证包括验证网格是否倾斜、弯曲或相反放置。图4a是用于分割图像的cnn1的初始输入和输出的示例。如图4a所示的分割后的图像，例如cnn1的输出，也可以用作cnn2的输入，其决定了网格放置。一旦认为网格是无效的，就拒绝所述网格。图4b、4c和4d分别示出翻转网格、弯曲网格和倾斜网格/柱的示例。cnn的分析可以在图像本身或分割后的图像上执行，如图4a所示。
49.对于工作流301的网格柱验证步骤，cnn可再次用于做出关于柱和焊接位置的相关确定。例如，使用上文关于图1讨论的cnn，cnn3可用于检测柱上在焊接位置处是否存在薄片。cnn4可用于检测网格上的污染。cnn4模型执行图像分割并确定所识别的焊接位置是否
存在污染以及网格柱末端是否存在一般污染。此外，cnn1可用于检测弯曲或倾斜的网格柱。对于弯曲网格检测，利用例如线性回归使用网格柱分段形状来验证柱是否弯曲，并且将分割后的网格柱的中心点用作例如计算线系数和抛物线系数的点。对于倾斜网格检测，利用例如线性回归使用分割后的形状来估计倾斜，并且将分割后的网格柱的中心点用作计算线系数的点。通常，网格柱验证包括验证网格柱的每个焊接位置是否可用于焊接薄片。图5a示出分割cnn（例如cnn1）的初始输入和输出的示例。图5b、5c、5d和5e分别示出已经安装在焊接位置的薄片、污染和焊接位置、弯曲柱以及良好柱与弯曲柱的比较的示例。
50.图6是根据本文所公开的各种实施例的用于执行支持操作的科学仪器支持模块600的框图。科学仪器支持模块600可以由如编程的计算设备等电路系统（例如，包含电气和/或光学组件）实施。科学仪器支持模块600的逻辑可以包含在单个计算设备中或者可以视情况而定，跨彼此通信的多个计算设备分布。本文参考图7的计算设备700讨论了可以单独或组合地实施科学仪器支持模块600的计算设备的示例，并且本文参考图8的科学仪器支持系统800讨论了互连计算设备的系统的示例，在所述系统中科学仪器支持模块600可以跨所述计算设备中的一个或多个计算设备实施。此外，模块600可以在db cpm 100中实施，例如在控制器119、存储器121、远程计算设备170及其组合中实施。
51.科学仪器支持模块600可以包含第一逻辑602、第二逻辑604、第三逻辑606、第四逻辑608和第五逻辑610。如本文所用，术语“逻辑”可包含用于执行与逻辑相关联的一组操作的装置。例如，支持模块600中包含的逻辑元件中的任何逻辑元件可以由一个或多个计算设备实施，所述一个或多个计算设备用指令编程以使所述计算设备中的一个或多个处理设备执行所述相关联的一组操作。在特定实施例中，逻辑元件可包含一个或多个非暂时性计算机可读介质，其上具有指令，所述指令当由一个或多个计算设备中的一个或多个处理设备执行时使得所述一个或多个计算设备执行所述相关联的一组操作。如本文所用，术语“模块”可指代一个或多个逻辑元件的集合，该一个或多个逻辑元件一起执行与模块相关联的功能。模块中的逻辑元件中的不同逻辑元件可采用相同的形式或者可采用不同的形式。举例来说，模块中的一些逻辑可通过编程的通用处理设备来实施，而模块中的其它逻辑可通过专用集成电路（asic）来实施。在另一个示例中，模块中的逻辑元件中的不同逻辑元件可与由一个或多个处理设备执行的不同指令集相关联。
52.如上所述，第一逻辑602可以包含实施cnn1的模型和网络。一般来说，第一逻辑602可以分割用于上文公开的各种网格和柱确定的图像。此外，第一逻辑的输出可以用作第二、第三和第四逻辑的输入。
53.如上所述，第二逻辑604可以包含实施cnn1的模型和网络。一般来说，cnn2可以是分类器模型，用于检测网格和网格柱的各种组件，并进一步确定网格是否被正确放置，例如加载。
54.如上所述，第三逻辑606可以包含实施cnn3的模型和网络。一般来说，第三逻辑606可以分割图像并确定薄片是否已经在焊接位置。
55.如上所述，第四逻辑608可以包含实施cnn4的模型和网络。第四逻辑608也可以是识别图像中的污染的分割cnn。
56.第五逻辑610可以包含用于使用cnn 1到4的输出进行各种确定的分析处理逻辑。例如，由cnn1输出的分割后的图像可以由第五逻辑610分析以例如通过执行各种线性回归
进行计算，从而确定网格或网格柱是否弯曲或倾斜。
57.图7是根据各种实施例的执行支持操作的方法700的流程图。尽管可以参考本文所公开的特定实施例（例如，本文参考图6讨论的科学仪器支持模块600、本文参考图8讨论的计算设备800和/或本文参考图9讨论的科学仪器支持系统900）来说明方法700的操作，但方法700可以以任何合适的设置使用以执行任何合适的支持操作。操作在图7中展示一次并以特定顺序展示，但可根据需要和视情况将操作重新排序和/或重复（例如，不同的操作可适合地并行执行）。
58.在702处，可以执行第一操作。例如，支持模块600的第一逻辑602和第二逻辑604可以执行702的操作。第一操作可以包含执行网格验证。网格验证可以至少包含获取网格的图像并使用一种或多种算法对其进行分析以确定网格是否正确放置、弯曲和/或倾斜。
59.在704处，可以执行第二操作。例如，支持模块600的第一逻辑602、第三逻辑606和第四逻辑608可以执行704的操作。第二操作可以包含执行网格柱验证。网格柱验证可以至少包含使用一种或多种算法分析所获取图像中的柱以确定是否存在薄片、柱是否被污染、柱是否弯曲和/或柱是否倾斜。这种验证产生确定柱上的哪些焊接位置（如果有的话）是有效的，例如可用的。
60.在706处，可以执行第三操作。例如，支持模块600的第五逻辑610可以执行706的操作。第三操作可以包含存储与每个经验证柱焊接位置相关联的载物台位置信息。
61.本文所公开的科学仪器支持方法可以包含与人类用户的交互（例如，通过本文参考图9讨论的用户本地计算设备5020）。这些交互可以包含向用户提供信息（例如，关于如图9的科学仪器5010等科学仪器的操作的信息、关于要分析的样品或由科学仪器执行的其它测试或测量的信息、从本地或远程数据库检索到的信息，或其它信息）或为用户提供输入命令的选项（例如，用于控制如图9的科学仪器5010等科学仪器的操作或用于控制分析由科学仪器生成的数据）、查询（例如，对本地或远程数据库进行查询）或其它信息。在一些实施例中，这些交互可通过图形用户接口（gui）来执行，所述gui包含在向用户提供输出和/或提示用户提供输入（例如，经由包含在本文参考图8论述的其它i/o设备812中的一个或多个输入设备，如键盘、鼠标、触控板或触摸屏）的显示设备（例如，本文参考图8论述的显示设备810）上的视觉显示器。本文所公开的科学仪器支持系统可以包含用于与用户进行交互的任何合适的gui。
62.如上所述，科学仪器支持模块600可以由一个或多个计算设备实施。图8是根据各种实施例的可以执行本文所公开的科学仪器支持方法中的一些或所有科学仪器支持方法的计算设备4000的框图。在一些实施例中，科学仪器支持模块1000可以由单个计算设备4000或多个计算设备4000实施。进一步地，如下文所讨论的，实施科学仪器支持模块1000的计算设备800（或多个计算设备800）可以是图9的科学仪器5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040中的一个或多个的一部分。
63.图8的计算设备800被展示为具有多个组件，但是这些组件中的任何一个或多个均可被省略或复制，如适于应用程序和设置。在一些实施例中，包含在计算设备800中的组件中的一些或所有可附接到一个或多个母板并封闭在壳体中（例如，包含塑料、金属和/或其它材料）。在一些实施例中，这些组件中的一些可被制造到单个片上系统（soc）上（例如，soc可包含一个或多个处理设备802和一个或多个存储设备804）。另外，在各种实施例中，计算
设备800可不包含图d所展示的组件中的一个或多个，但可包含用于使用任何合适的接口（例如，通用串行总线（usb）接口、高清多媒体接口（hdmi）接口、控制器局域网（can）接口、串行外围接口（spi）接口、以太网接口、无线接口或任何其它合适的接口）耦合到所述一个或多个组件的接口电路系统（未示出）。举例来说，计算设备800可不包含显示设备810，但可包含显示设备810可耦合到的显示设备接口电路系统（例如，连接器和驱动器电路系统）。
64.计算设备800可包含处理设备802（例如，一个或多个处理设备）。如本文所用，术语“处理设备”可指处理来自寄存器和/或存储器的电子数据以将所述电子数据转换成可存储在寄存器和/或存储器中的其它电子数据的任何设备或设备的一部分。处理设备802可包含一个或多个数字信号处理器（dsp）、专用集成电路（asic）、中央处理单元（cpu）、图形处理单元（gpu）、加密处理器（在硬件内执行加密算法的专用处理器）、服务器处理器或任何其它合适的处理设备。
65.计算设备800可包含存储设备804（例如，一个或多个存储设备）。存储设备804可包含一个或多个存储器设备，如随机存取存储器（ram）（例如，静态ram（sram）设备、磁性ram（mram）设备、动态ram（dram）设备、电阻式ram（rram）设备或导电桥接ram（cbram）设备）、基于硬盘驱动器的存储器设备、固态存储器设备、网络驱动器、云驱动器或存储器设备的任何组合。在一些实施例中，存储设备804可包含与处理设备802共享管芯的存储器。在这种实施例中，存储器可以用作高速缓冲存储器并且可以包含例如嵌入式动态随机存取存储器（edram）或自旋转移矩磁性随机存取存储器（stt-mram）。在一些实施例中，存储设备804可包含非暂时性计算机可读介质，其上具有指令，所述指令当由一个或多个处理设备（例如，处理设备802）执行时使得计算设备800执行本文所公开的方法中的任何适当的方法或部分。
66.计算设备800可包含接口设备806（例如，一个或多个接口设备806）。接口设备806可包含一个或多个通信芯片、连接器和/或其它硬件和软件以管理计算设备800与其它计算设备之间的通信。举例来说，接口设备806可包含用于管理将数据传送到计算设备800并从所述计算设备传送数据的无线通信的电路系统。术语“无线”和其派生词可用于描述可通过使用经调制的电磁辐射通过非固体介质来传递数据的电路、设备、系统、方法、技术、通信信道等。所述术语并不暗示相关联设备不含有任何导线，尽管在一些实施例中可能不含有任何导线。包含在接口设备806中的用于管理无线通信的电路系统可实施多个无线标准或协议中的任何一个，包含但不限于电气和电子工程师协会（ieee）标准，包含wi-fi（ieee 802.11系列）、ieee 802.16标准（例如，ieee 802.16-2005修正案）、长期演进（lte）项目以及任何修正、更新和/或修订（例如，高级lte项目、超移动宽带（umb）项目（也称为“3gpp2”）等）。在一些实施例中，包含在接口设备806中的用于管理无线通信的电路系统可根据全球移动电信系统（gsm）、通用分组无线业务（gprs）、通用移动通信系统（umts）、高速分组接入（hspa）、演进式hspa（e-hspa）或lte网络来操作。在一些实施例中，包含在接口设备806中的用于管理无线通信的电路系统可根据用于gsm演进（edge）、gsm edge无线接入网络（geran）、通用地面无线接入网络（utran）或演进式utran（e-utran）的增强数据来操作。在一些实施例中，包含在接口设备806中的用于管理无线通信的电路系统可以根据码分多址（cdma）、时分多址（tdma）、数字增强无绳电信（dect）、演进数据优化（ev-do）和其衍生物，以及任何其它指定为3g、4g、5g及更高版本的无线协议来操作。在一些实施例中，接口设备806
可包含用于无线通信的接收和/或传输的一个或多个天线（例如，一个或多个天线阵列）。
67.在一些实施例中，接口设备806可包含用于管理如电、光或任何其它合适的通信协议等有线通信的电路系统。举例来说，接口设备806可包含支持根据以太网技术的通信的电路系统。在一些实施例中，接口设备806可支持无线通信和有线通信二者，和/或可支持多种有线通信协议和/或多种无线通信协议。举例来说，接口设备806的第一组电路系统可专用于如wi-fi或蓝牙等近距离无线通信，并且接口设备806的第二组电路系统可专用于如全球定位系统（gps）、edge、gprs、cdma、wimax、lte、ev-do或其它等远距离无线通信。在一些实施例中，接口设备806的第一组电路系统可专用于无线通信，并且接口设备806的第二组电路系统可专用于有线通信。
68.计算设备800可包含电池/电源电路系统808。电池/电源电路系统808可包含一个或多个储能设备（例如，电池或电容器）和/或用于将计算设备800的组件耦合到与计算设备800分离的能源（例如，ac线路电源）的电路系统。
69.计算设备800可包含显示设备810（例如，多个显示设备）。显示设备810可包含任何视觉指示器，如平视显示器、计算机监测器、投影仪、触摸屏显示器、液晶显示器（lcd）、发光二极管显示器或平板显示器。
70.计算设备800可包含其它输入/输出（i/o）设备812。其它i/o设备812可包含例如一个或多个音频输出设备（例如，扬声器、耳机、耳塞、警报器等）、一个或多个音频输入设备（例如，麦克风或麦克风阵列）、定位设备（例如，如本领域已知的与基于卫星的系统通信以接收计算设备800的位置的gps设备）、音频编解码器、视频编解码器、打印机、传感器（例如，热电偶或其它温度传感器、湿度传感器、压力传感器、振动传感器、加速度计、陀螺仪等）、图像捕获设备，如相机、键盘、光标控制设备，如鼠标、手写笔、轨迹球或触摸板）、条形码阅读器、快速响应（qr）代码阅读器或射频标识（rfid）阅读器。
71.计算设备800可具有用于其应用程序和设置的任何合适的形状因子，如手持式或移动计算设备（例如，蜂窝电话、智能手机、移动互联网设备、平板计算机、笔记本计算机、上网本计算机、超级本计算机、个人数字助理（pda）、超移动个人计算机等）、台式计算设备、或服务器计算设备或其它网络计算组件。
72.实施本文所公开的科学仪器支持模块或方法中的任何一个的一个或多个计算设备可以是科学仪器支持系统的一部分。图9是根据各种实施例的可以在其中执行本文所公开的科学仪器支持方法中的一些或所有科学仪器支持方法的示例科学仪器支持系统5000的框图。本文所公开的科学仪器支持模块和方法（例如，图6的科学仪器支持模块600和图7的方法700）可以由科学仪器支持系统5000的科学仪器5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040中的一个或多个实施。
73.科学仪器5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040中的任何一个可包含本文关于图8论述的计算设备800的实施例中的任何一个，并且科学仪器5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040中的任何一个可采用本文关于图8论述的计算设备800的实施例中的任何适当的实施例的形式。
74.科学仪器5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040可各自包含处理设备5002、存储设备5004和接口设备5006。处理设备5002可采用任何合适的形式，包含本文关于图8论述的处理设备802中的任何一个的形式，并且科学仪器
5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040中的不同设备中包含的处理设备5002可采用相同的形式或不同的形式。存储设备5004可采用任何合适的形式，包含本文关于图8论述的存储设备5004中的任何一个的形式，并且科学仪器5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040中的不同设备中包含的存储设备5004可采用相同的形式或不同的形式。接口设备5006可采用任何合适的形式，包含本文关于图8论述的接口设备806中的任何一个的形式，并且科学仪器5010、用户本地计算设备5020、服务本地计算设备5030或远程计算设备5040中的不同设备中包含的接口设备5006可采用相同的形式或不同的形式。
75.科学仪器5010、用户本地计算设备5020、服务本地计算设备5030和远程计算设备5040可以通过通信路径5008与科学仪器支持系统5000的其它元件通信。通信路径5008可以通信地耦合科学仪器支持系统5000的元件中的不同元件的接口设备5006，如所示的，并且可以是有线或无线通信路径（例如，根据本文关于图8的计算设备800的接口设备806讨论的通信技术中的任何一种）。图9中描绘的特定科学仪器支持系统5000包含每对科学仪器5010、用户本地计算设备5020、服务本地计算设备5030和远程计算设备5040之间的通信路径，但是这种“完全连接”的实施方案只是说明性的，并且在各种实施例中，可能不存在通信路径5008中的各种通信路径。举例来说，在一些实施例中，服务本地计算设备5030在其接口设备5006与科学仪器5010的接口设备5006之间可能没有直接通信路径5008，而是可经由服务本地计算设备5030与用户本地计算设备5020之间的通信路径5008和用户本地计算设备5020与科学仪器5010之间的通信路径5008来与科学仪器5010通信。
76.科学仪器5010可以包含任何适当的科学仪器，例如sem、tem、stem、fib、双束及其组合。
77.用户本地计算设备5020可为对科学仪器5010的用户而言为本地的计算设备（例如，根据本文论述的计算设备800的实施例中的任何一个）。在一些实施例中，用户本地计算设备5020也可为对科学仪器5010而言为本地的，但这不一定是这种情况；举例来说，位于用户家中或办公室中的用户本地计算设备5020可远离科学仪器5010，但与科学仪器通信，使得用户可使用用户本地计算设备5020来控制和/或访问来自科学仪器5010的数据。在一些实施例中，用户本地计算设备5020可为膝上型计算机、智能手机或平板计算机设备。在一些实施例中，用户本地计算设备5020可为便携式计算设备。
78.服务本地计算设备5030可为对服务于科学仪器5010的实体而言为本地的计算设备（例如，根据本文论述的计算设备800的实施例中的任何一个）。举例来说，服务本地计算设备5030对于科学仪器5010的制造商或第三方服务公司而言可为本地的。在一些实施例中，服务本地计算设备5030可与科学仪器5010、用户本地计算设备5020和/或远程计算设备5040（例如，如上文所论述的，经由直接通信路径5008或经由多个“间接”通信路径5008）通信，以接收关于科学仪器5010、用户本地计算设备5020和/或远程计算设备5040的操作的数据（例如，科学仪器5010的自测结果、由科学仪器5010所使用的校准系数、与科学仪器5010相关联的传感器的测量结果等）。在一些实施例中，服务本地计算设备5030可与科学仪器5010、用户本地计算设备5020和/或远程计算设备5040（例如，如上文所论述的，经由直接通信路径5008或经由多个“间接”通信路径5008）通信，以将数据传输到科学仪器5010、用户本地计算设备5020和/或远程计算设备5040（例如，以更新科学仪器5010中的编程指令，如固
件，以启动执行科学仪器5010中的测试或校准序列，以更新用户本地计算设备5020或远程计算设备5040中的编程指令，如软件等）。科学仪器5010的用户可利用科学仪器5010或用户本地计算设备5020与服务本地计算设备5030通信以报告科学仪器5010或用户本地计算设备5020的问题，以请求来自技术人员的访问从而改进科学仪器5010的操作，以订购与科学仪器5010相关联的可消耗或替换部件或用于其它目的。
79.远程计算设备5040可为远离科学仪器5010和/或用户本地计算设备5020的计算设备（例如，根据本文论述的计算设备800的实施例中的任何一个）。在一些实施例中，远程计算设备5040可包含在数据中心或其它大型服务器环境中。在一些实施例中，远程计算设备5040可包含网络附接存储（例如，作为存储设备5004的一部分）。远程计算设备5040可存储由科学仪器5010生成的数据，对科学仪器5010生成的数据执行分析（例如，根据编程指令），促进用户本地计算设备5020与科学仪器5010之间的通信和/或促进服务本地计算设备5030与科学仪器5010之间的通信。
80.在一些实施例中，可能不存在图9中所示的科学仪器支持系统5000的元件中的一个或多个元件。进一步地，在一些实施例中，可能存在图9中的科学仪器支持系统5000的元件的各种元件中的多个元件。例如，科学仪器支持系统5000可以包含多个用户本地计算设备5020（例如，与不同用户相关联或在不同位置的不同用户本地计算设备5020）。在另一个示例中，科学仪器支持系统5000可以包含多个科学仪器5010，所述多个科学仪器全部与服务本地计算设备5030和/或远程计算设备5040通信；在这种实施例中，服务本地计算设备5030可以监测这些多个科学仪器5010，并且服务本地计算设备5030可以引起更新或者其它信息可以同时“广播”到多个科学仪器5010。科学仪器支持系统5000中的科学仪器5010中的不同科学仪器可以被定位成靠近彼此（例如，在同一个房间中）或远离彼此（例如，在建筑物的不同楼层、在不同的建筑物中、在不同的城市等）。在一些实施例中，科学仪器5010可以连接到物联网（iot）堆栈，所述iot堆栈允许通过基于web的应用、虚拟或增强现实应用程序、移动应用程序和/或桌面应用程序来命令和控制科学仪器5010。这些应用程序中的任何一个均可由操作用户本地计算设备5020的用户访问，所述用户本地计算设备通过介入的远程计算设备5040与科学仪器5010通信。在一些实施例中，制造商可将科学仪器5010与一个或多个相关联的用户本地计算设备5020一起作为本地科学仪器计算单元5012的一部分出售。

技术特征：

1.一种方法，其包括：对网格进行成像，所述网格包含支持部分和从所述支持部分延伸的多个柱，其中所述多个柱中的每个柱具有指定焊接位置；以及基于图像确定所述多个柱中的每个柱的所述指定焊接位置是否有效。2.根据权利要求1所述的方法，其中基于图像确定所述多个柱中的每个柱的所述指定焊接位置是否有效包含：基于图像确定所述焊接位置上或所述焊接位置周围是否存在污染。3.根据权利要求2所述的方法，其中所述确定是使用被训练以识别污染的人工神经网络来执行的。4.根据权利要求3所述的方法，其中所述人工神经网络是卷积神经网络。5.根据权利要求1所述的方法，其中基于图像确定所述多个柱中的每个柱的所述指定焊接位置是否有效包含：基于图像确定每个柱是否有缺陷。6.根据权利要求5所述的方法，其中所述确定是使用被训练以识别污染的人工神经网络来执行的。7.根据权利要求6所述的方法，其中所述人工神经网络是卷积神经网络。8.根据权利要求5所述的方法，其中有缺陷包含弯曲、倾斜或旋转。9.根据权利要求5所述的方法，其中有缺陷包含缺少材料。10.根据权利要求1所述的方法，其中基于图像确定所述多个柱中的每个柱的所述指定焊接位置是否有效包含：基于图像确定在每个柱的所述焊接位置处是否已经存在薄片。11.根据权利要求10所述的方法，其中所述确定是使用被训练以识别污染的人工神经网络来执行的。12.根据权利要求11所述的方法，其中所述人工神经网络是卷积神经网络。13.根据权利要求1所述的方法，进一步包含：基于图像确定所述网格是否有效。14.根据权利要求13所述的方法，其中基于图像确定所述网格是否有效包含：基于图像确定所述网格是否位于指定位置中。15.根据权利要求14所述的方法，其中所述确定是使用被训练以识别污染的人工神经网络来执行的。16.根据权利要求15所述的方法，其中所述人工神经网络是卷积神经网络。17.根据权利要求14所述的方法，其中基于图像确定所述网格是否位于指定位置中包含确定所述网格是否倾斜。18.根据权利要求14所述的方法，其中基于图像确定所述网格是否位于指定位置中包含确定所述网格是否旋转。19.根据权利要求14所述的方法，其中基于图像确定所述网格是否位于指定位置中包含确定所述网格是否翻转。20.根据权利要求1所述的方法，进一步包含：存储与每个有效焊接位置相关联的载物台位置。

技术总结

用于自动网格验证的装置和方法。本文公开用于自动网格验证的装置和方法。一种示例方法至少包含：对网格进行成像，所述网格包含支持部分和从所述支持部分延伸的多个柱，其中所述多个柱中的每个柱具有指定焊接位置；以及基于图像确定所述多个柱中的每个柱的所述指定焊接位置是否有效。接位置是否有效。接位置是否有效。

技术研发人员：

P

受保护的技术使用者：

FEI公司

技术研发日：

2022.09.19

技术公布日：

2023/3/24