开发者实战 | 如何应用 Anomalib 在数据集不平衡的情况下检测缺陷？-下篇

文章作者：

Paula Ramos，英特尔 AI 软件布道师，美国

武卓，英特尔 AI 软件布道师，中国

Samet Akcay，英特尔人工智能研究工程师/科学家

在上篇文章《 开发者实战 | 如何应用Anomalib在数据集不平衡的情况下检测缺陷？-上篇》中，我们介绍了深度学习异常检测库 Anomalib（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib）。简而言之，当您想进行自动缺陷检测，但数据集不平衡时，Anomalib 是一个很好的工具。

希望您已经通过入门 notebook （复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/tree/main/notebooks/000_getting_started）访问并亲自试用了这个开源项目。如果没有，请不要担心，这篇博文将教您如何结合自己的数据集使用 Anomalib。

在这个示例中，我们将介绍一个令人振奋的 Dobot 机器人工业用例，其中的机械臂用于教育、工业和智能用例中。如果您没有可用的 Dobot 机器人，您可以简单地修改 notebook，避开、注释或改变机器人代码，使其为您所用。

图 1：使用教育机器人进行基于 Anomalib 的缺陷检测。

让我们开始吧

为了解 Anomalib 的工作原理，我们将看一个检查彩色立方体的生产线（图 1）。其中一些立方体会有洞或缺陷，需要从传送带上取下。由于这些缺陷在生产线上并不常见，我们将为我们的 AI 模型拍摄一些图像。

安装：

按照以下步骤使用源文件安装 Anomalib：

1. 使用 Python 3.8 版本创建运行Anomalib + Dobot DLL 的环境

对于 Windows，使用以下代码：

python -m venv anomalib_envanomalib_env\Scripts\activate

向右滑动查看完整代码

对于 Ubuntu：

python3 -m venv anomalib_envsource anomalib_env/bin/activate

向右滑动查看完整代码

2. 从 GitHub 存储库中安装 Anomalib 及 OpenVINO™ 要求（在这篇博文中，我们将不使用 pip 安装命令）：

python –m pip install –upgrade pip wheel setuptoolsgit clone https://github.com/openvinotoolkit/anomalib.gitcd anomalibpip install -e . [openvino]

向右滑动查看完整代码

3. 安装 Jupyter Lab 或 Jupyter Notebook：

https://jupyter.org/install

pip install notebookpip install ipywidgets

向右滑动查看完整代码

4. 然后连接您的 USB 摄像头，使用简单的摄像头应用验证它在正常工作。然后，关闭该应用。

可选：如果您可以访问 Dobot，请实施以下步骤：

1.    安装 Dobot 要求（更多信息请参考 Dobot 文档，复制到浏览器打开：https://en.dobot.cn/products/education/magician.html）。

2.    检查 Dobot 的所有连接状态，并使用 Dobot Studio 验证它在正常工作。

3.    将通风配件安装在 Dobot 上，并使用 Dobot Studio 验证它在正常工作。

4.    在 Dobot Studio（图 2）中，点击“Home”按钮，找到：

·       校准坐标：立方体阵列的左上角初始位置。

·       位置坐标：机械臂应将立方体放在传送带上方的位置。

·       异常坐标：释放异常立方体的位置。

·       然后在 notebook 中替换这些坐标。有关该步骤的更多说明，请参考自述文件（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/tree/feature/notebooks/usecases/dobot/notebooks/500_use_cases/dobot）。

5. 如需使用机器人运行 notebook，从这里下载 Dobot API 和驱动程序文件（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/releases/download/dobot/dobot_api.zip），并将它们添加到存储库 Anomalib 文件夹的 notebooks/500_uses_cases/dobot 中。

图 2：Dobot Studio 界面。

注：如果没有机器人，您可以转到另一个 notebook，如 501b notebook（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/blob/main/notebooks/500_use_cases/501_dobot/501b_Training_a_model_with_cubes_from_a_robotic_arm.ipynb），通过这个链接下载数据集（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/releases/download/dobot/cubes.zip），并在那里尝试训练和推理。

Notebook 的数据采集和推理

下面，我们需要使用正常的数据集创建文件夹。在这个示例中，我们创建了一个彩色立方体的数据集，并为异常情况添加一个黑色圆圈贴纸，以模拟盒子上的洞或缺陷（图 3）。对于数据采集和推理，我们将使用 501a notebook（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/blob/main/notebooks/500_use_cases/501_dobot/501a_Dataset_creation_and_Inference_with_a_robotic_arm.ipynb）。

图 3：用于第一轮训练的数据集。

在采集数据时，请务必将 acquisition 变量设置 为 True  来运行notebook，并为没有异常的数据定义“正常”文件夹，为异常图像定义“异常”文件夹。数据集将直接在 Anomalib 克隆的文件夹中创建，所以我们将看到 Anomalib/dataset/cubes 文件夹。

如果您没有机器人，您可以修改代码以保存图像或使用下载的数据集进行训练。

推理：

对于推理，acquisition 变量应该是 False，我们不会保存任何图像。我们将读取采集到的视频帧，使用 OpenVINO 运行推理，并决定放置立方体的位置：对于正常立方体，放置在传送带上；对于异常立方体，放置在传送带外。

我们需要识别采集标记 — 采集模式为 True，推理模式为 False。在采集模式下，要注意是创建正常还是异常文件夹。例如，在采集模式下，notebook 会将每张图像保存在 anomalib/datasets/cubes/{FOLDER} 中，以便进一步训练（复制到浏览器打开：https://gist.github.com/paularamo/f20c4efe98ec00756f76d65b20f21fb0）。在推理模式下，notebook 不会保存图像；它将运行推理并显示结果。

让我们开始吧

对于训练，我们将使用 501b notebook（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/blob/main/notebooks/500_use_cases/501_dobot/501b_Training_a_model_with_cubes_from_a_robotic_arm.ipynb）。在这个 notebook 中，我们将使用 PyTorch Lighting，并使用“Padim”模型进行训练。这种模型有几个优点：我们不需要 GPU，只用 CPU 就可以完成训练过程，而且训练速度也很快。

现在，让我们深入了解一下训练 notebook！

导入：

在这一部分，我们将解释用于该示例的软件包。我们还将从 Anomalib 库中调用需要使用的软件包（复制到浏览器打开：https://gist.githubusercontent.com/paularamo/536ed17333cfe05dda1297745124d36f/raw/2d645c778c059b9c52ecad0df83f326f3fe8aa16/anomalib_imports.py）。

配置：

有两种方法来配置 Anomalib 模块，一种是使用配置文件，另一种是使用 API。最简单的方法是通过 API 查看该库的功能。如果您希望在您的生产系统中实施 Anomalib，请使用配置文件（YAML 文件）（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/blob/main/notebooks/500_use_cases/501_dobot/cubes_config.yaml），它是核心训练与测试进程，包含数据集、模型、试验和回调管理（图 4）。

在接下来的部分，我们将描述如何使用 API 配置您的训练。

图 4：训练和验证模块。

数据集管理器：

通过 API，我们可以修改数据集模块。我们将准备数据集路径、格式、图像大小、批量大小和任务类型（复制到浏览器打开：https://gist.github.com/paularamo/46fdfe6bcfa27e5e027a7f4c3a0dc5bd）。然后，我们使用以下代码将数据加载到管道中。

i, data = next(enumerate(datamodule.val_dataloader()))

向右滑动查看完整代码

模型管理器：

对于异常检测模型，我们使用 Padim（复制到浏览器打开：https://gist.githubusercontent.com/paularamo/536ed17333cfe05dda1297745124d36f/raw/2d645c778c059b9c52ecad0df83f326f3fe8aa16/anomalib_imports.py），您也可以使用其他 Anomalib 模型，如：CFlow、CS-Flow、DFKDE、DFM、DRAEM、FastFlow、Ganomaly Patchcore、Reverse Distillation 和 STFPM。此外，我们使用 API 设置了模型管理器；使用 anomalib.models （复制到浏览器打开：https://gist.github.com/paularamo/24457a4eaeb98f15d5b39bc62b513d26）导入 Padim。

回调（Callbacks）管理器:

为了适当地训练模型，我们需要添加一些其他的“非基础”逻辑，如保存权重、尽早终止、以异常分数为基准以及将输入/输出图像可视化。为了实现这些，我们使用回调Callbacks。Anomalib 有自己的Callbacks，并支持 PyTorch Lightning 的本地callbacks。通过该代码，我们将创建在训练期间执行的回调列表（复制到浏览器打开：https://gist.github.com/paularamo/581d6c99504e673a8147e77995478624）。

训练：

在设置数据模块、模型和callbacks之后，我们可以训练模型了。训练模型所需的最后一个组件是 pytorch_lightning Trainer 对象，它可处理训练、测试和预测管道。点击此处，查看 notebook 中的 Trainer 对象示例（复制到浏览器打开：https://gist.github.com/paularamo/e25957185d41798c869aec9b8d127c24https://gist.github.com/paularamo/e25957185d41798c869aec9b8d127c24）。

验证：

我们使用 OpenVINO 推理进行验证。在之前的导入部分，我们导入了 anomalib.deploy 模块中的 OpenVINOInferencer。现在，我们将用它来运行推理并检查结果。首先，我们需要检查 OpenVINO 模型是否在结果文件夹中（复制到浏览器打开：https://gist.github.com/paularamo/7d89abf6a6e1b443679f48c406ecefc2）。

预测结果：

为了实施推理，我们需要从 OpenVINOinference（我们可在其中设置 OpenVINO 模型及其元数据）中调用 predict 方法，并确定需要使用的设备：

predictions = inferencer.predict(image=image)

向右滑动查看完整代码

预测包含与结果有关的各种信息：原始图像、预测分数、异常图、热图图像、预测掩码和分割结果（图 5）。根据您要选择的任务类型，您可能需要更多信息。

图 5：预测结果

最后，我们采用 Dobot 机器人的缺陷检测用例基本是这样的（图 6）。

图 6：运行 Anomalib 模型推理的教育机器人

使用您自己的数据集的技巧和建议

数据集转换：

如果您想提高模型的准确性，您可以在您的训练管道中应用数据转换。您应该在 config.yaml 的 dataset.transform_config 部分提供增强配置文件的路径（复制到浏览器打开：https://albumentations.ai/docs/examples/serialization/）。这意味着您需要有一个用于 Anomalib 设置的 config.yaml 文件，以及一个可供 Anomalib config yaml 文件使用的单独 albumentations_config.yaml 文件。

在这个讨论帖中（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/discussions/737），您可以学习如何将数据转换添加到您的实际训练管道。

强大的模型：

异常检测库并非无所不能，在碰到麻烦的数据集时也可能会失效。好消息是：您可以尝试 13 个不同的模型，并能对每个实验的结果进行基准测试。您可以将基准测试入口点脚本用于其中（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/blob/main/tools/benchmarking/benchmark.py），并将配置文件用于基准测试目的（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/blob/main/tools/benchmarking/benchmark_params.yaml）。这将帮助您为实际用例选择最佳模型。

如需更多指南，请查看“操作指南”（复制到浏览器打开：https://openvinotoolkit.github.io/anomalib/how_to_guides/index.html）。

下一步

如果您正在使用 Dobot，并希望通过该 notebook 看到更多探讨其使用场景的文章，请将您的意见或问题添加到这篇博文中。如果您在 Anomalib 安装过程中遇到任何问题或错误，请在我们的GitHub 存储库（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib）中提交。

我们期待看到您使用 Anomalib 库提出更多办法。

祝您开心，欢迎您在我们的讨论频道（复制到浏览器打开：https://github.com/openvinotoolkit/anomalib/discussions）分享您的结果！

通知和免责声明

英特尔技术可能需要启用硬件、软件或激活服务。

没有任何产品或组件是绝对安全的。

具体成本和结果可能不同。

英特尔并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否准确。

英特尔未做出任何明示和默示的保证，包括但不限于，关于适销性、适合特定目的及不侵权的默示保证，以及在履约过程、交易过程或贸易惯例中引起的任何保证。

本文件不构成对任何知识产权的授权，包括明示的、暗示的，也无论是基于禁止反言的原则或其他。

©英特尔公司版权所有。英特尔、英特尔标识和其他英特尔标志是英特尔公司或其子公司在美国和/或其他国家（地区）的商标。其他的名称和品牌可能是其他所有者的资产。

关于我们

01

Paula Ramos 自 21 世纪初以来一直在哥伦比亚开发新型集成工程技术，主要涉及计算机视觉、机器人和机器学习在农业领域的应用。在攻读博士和研究生学位期间，她部署了多个低成本的智能边缘和物联网计算技术，这些技术可供农民等不具备计算机视觉系统专业知识的人员操作。她的发明可在严苛和紧急的条件下运行，如没有照明控制的农业和户外环境，也可从容应对高太阳辐射条件、甚至极端高温条件。目前，她是英特尔的 AI 软件布道师，负责开发能够理解和重新创造周围视觉世界以满足现实需求的智能系统/机器。

02

Samet Akcay 是人工智能研究工程师/科学家。他的主要研究兴趣包括实时图像分类、检测、异常检测，以及基于深度/机器学习算法的无监督特征学习。他最近与人联合开发了开源的 Anomalib，这是该领域最大的异常检测库之一。Samet 拥有英国杜伦大学计算机科学系的博士学位，并获得了美国宾夕法尼亚州立大学电气工程系 Robust Machine Intelligence Lab 的硕士学位。他在顶级的计算机视觉和机器/深度学习会议和期刊上发表了 30 多篇学术论文。

03

武卓是英特尔的 AI 软件布道师，专注于 OpenVINO^™ 工具套件的研究。她的工作职责涵盖了从深度学习技术到 5G 无线通信技术的领域。她在计算机视觉、机器学习、边缘计算、物联网系统和无线通信物理层算法等方面做出了卓越贡献。她为汽车、银行、保险等不同行业的企业客户提供基于机器学习和深度学习的端到端解决方案; 4G-LTE 和 5G 无线通信系统方面进行了广泛研究，并曾任职于中国贝尔实验室，期间申请了多项专利。她在上海大学担任副教授时，曾作为主要研究人员主导过多个研究项目。

--END--

                      
                      
                      
 
                       
                       
                       
  
                        
                        
                        你也许想了解(点击蓝字查看)⬇️
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        ➡️ 
  
                        
                        
                        以AI作画，祝她节日快乐；简单三步，OpenVINO™ 助你轻松体验AIGC
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        
 
                       
                       
                       

                      
                      
                      

                      
                      
                      
 
                       
                       
                       
  
                        
                        
                        ➡️
  
                        
                        
                         还不知道如何用OpenVINO™作画？点击了解教程。
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        ➡️
  
                        
                        
                         如何给开源项目做贡献? | 开发者节日福利
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        ➡️
  
                        
                        
                         
  
                        
                        
                        几行代码轻松实现对于PaddleOCR的实时推理，快来get！
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        ➡️
  
                        
                        
                         
  
                        
                        
                        使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        ➡️ 
  
                        
                        
                        图片提取文字很神奇？试试三步实现OCR！
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        ➡️
  
                        
                        
                        【Notebook系列第六期】基于Pytorch预训练模型，实现语义分割任务
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        ➡️
  
                        
                        
                        使用OpenVINO™ 预处理API进一步提升YOLOv5推理性能
 
                       
                       
                       
 
                       
                       
                       
  
                        
                        
                        

 
                       
                       
                       

                      
                      
                      

👇欢迎在留言区与我们互动哦， 点击小程序 留言区 即可参与
留言区

                     
                     
                     
 
                      
                      
                      
  
                       
                       
                       
   
                        
                        
                        
    
                         
                         
                          
                           
                            
                             
                              
                               
                                
                                 
                                  
                                   
                                    
                                     
                                      
                                       
                                        
                                         
                                         

 
                                         
扫描下方二维码立即体验 
 
                                         
OpenVINO™ 工具套件 2022.3
 
                                         
                                        
                                       
                                      
 
                                      

 
                                      
 
                                      

 
                                       
                                        
                                         
                                          
                                           
                                            
                                            
 
                                            
                                           
                                          
                                         
                                        
                                       
                                       
                                       
 
                                       
                                      
                                     
                                    
                                   
                                  
                                 
                                
                               
                              
                             
                            
                           
                         
   
                        
                        
                        
  
                       
                       
                       
 
                      
                      
                      

                     
                     
                     

点击 阅读原文 立即体验OpenVINO 2022.3 文章这么精彩，你有没有“在看”？