4.2.4 XLD物件
XLD是 eXtended Line Description 的缩写,这种数据结构用于纪录区域,例如任意尺 寸的区域或是多边型,开放或是封闭的等值线,直线等等。和 region 对象不同的,region 的 纪录精度是以像元为单位,而XLD对象以次像元精度来记录。XLD对象有两种基本结构, 等值线和多边型。
XLD 对象的建立方法是由线(等值线,边缘等等)上的取样点连接而成,藉由改变取样密度和 位置,可以提高精度,此外还包含了角度,弪度等等数据。一般来说,XLD 记录了边缘侦测 计算的结果,例如
edge_sub_pix,lines_gauss 等等。进一步的,可以用在次像元精度等级的计算及应用。详 细的信息请参考 Extension Package Programmer's Manual。
4.3 HALCON 的取像界面
目前 HALCON 提供了40余种取像接口,以 DLL 方式加载(dynamically loadable libraries, unix 下为 shared library),这些 library 是以HFG为档名开头,而为 parallel HALCON 设计 的 DLL 以 parHFG 为开头(请参考 5.3.2 节)。 HALCON 利用 Frame Grabber Interface,和取像设备商提供的驱动程序连结,由下列的运 算子构成了通用的沟通方法。
open_framegrabber
启动取像设备并设定参数。要设定的参数依设备的不同而异,例如相机形式或是连接的 port。
info_framegrabber
传回取像设备信息,例如默认值等等。
set_framegrabber_param 以及 get_framegrabber_param 设定或取得取像设备的参数。
grab_image grab_image_async
取像。两者的差异(同步及异步)请看下一节的说明。
grab_image_start 开始异步取像。
close_framegrabber close_all_framegrabbers 停止和取像设备的连结。同时会释放占用的系统资源。
46
set_feamegrabber_lut get_framegrabber_lut 设定或读取取像设备的 lookup table,这个功能只有一些特定的取像设备才支持。
如果您的取像设备安装好了,要和 HALCON 连接,只要叫用 open_framegrabber,给他取 像设备名称,例如相机形号等等参数,再来用 grab_image 就可以取得影像。 有件事要请使用者注意,就是 HALCON 的取像接口经常会更新,主要是因为 MVTec 持续的 在开发新的接口,另一方面,如果取像设备制造商更新了软件,HALCON 也会跟着更新。最 新的信息在 http://www.mvtec.com/halcon/framegrabber 可以找到,包括可下载的 DLL 以及 相关参数等等。
4.3.1 两种取像模式
HALCON 有两种取像方式,同步与异步取像。所谓同步取像,是由程序以 grab_image 通 知取像器取像,接着程序开始等待,一直到取像完成。也就是说,程序和取像器同步作业。 这种模式的好处是取得的影像是最新的,不过由于取像需要时间,像是 PAL 影像,需时40 ms 左右,造成的结果就是难以进行实时计算。如果取像还要再配合外部触发讯号(trigger), 耗费的等待时间就更多。 另一种模式,异步取像,则可支持实时运算。这种模式下取像分为两个阶段,第一,程序 以 grab_image_start 通知取像器开始进行取像,运算符会立刻响应,程序就可以继续未完成 的工作,例如处理上一张影像,而取像器可同时进行取像作业。再来要取得影像时,呼叫 grab_image_async。如果取像完成了,运算符会立刻传回新取得的影像,否则就会一直等到 取像完成。grab_image_async 还有一个功能,它可以限定影像的有效时间,若是间隔太久, 就会自动抓取一张新影像,以确保取得的影像是最新的。在传回影像前,grab_image_async 会自动开始抓取新影像,因此您不必再呼叫 grab_image_start 开始取像。 两种取像方式中,异步取像可以发挥最大的系统效能,由于计算(程序端)和取像(设备端) 是独立执行的,因此不会有互相等待而牵制的情况,但是对设计者而言,时间点的掌控因而 更形重要。
4.3.2 使用外部触发(External triggers)
除了上两种取像方式外,若是您的取像系统有此功能,就可以使用外部触发来直接命令相机 取像,这样可以整合其他的自动化设备,例如和一个光电传感器连结,当工件通过相机时就 照相。对 HALCON 来说,只要修改 frame_grabber 的参数即可搭配此类应用。 这种同步方式和上一节讲的同步取像有些基本上的不同。上一节叙述的方法中,图像处理的 计算和取像同步,也就是取完影像才开始计算,而使用 external trigger 时,是收到触发讯号 就开始取像,因此取像是依据某种条件进行的,而不是由程序下令。
47
大部分的 HALCON frame grabber interface 都可以设定一个逾时限制,可用
set_framegrabber_param 来设定,如果一个取像的动作逾时未完成,则会传回
H_ERR_FGTIMEOUT。 有件重要的事要注意,为了使外部讯号和取像时间一致,相机本身必须要能随时开始撷取新
影像,一般称之为 asynchronously resetable,也就是相机在收到讯号时,可以立刻中止 尚未完成的取像动作,然后进行新影像的撷取。如果没有这项功能,收到外部讯号到相机开 始取像之间会有时间差,而对于实时的计算应用而言,更糟糕的是这个延迟的时间不是定值, 可能趋近于0,也有可能接近撷取一张影像所花的时间。 综合上述,对于要求条件严格的实时取像应用,要使用外部触发讯号,同时就要选择有 asynchronously resetable 功能的相机。
4.3.3 Volatile 取像
在预设的情况下,grab_image 和 grab_image_async 是将取像系统取得的影像复制到 HALCON 影像对象所用的内存中,这种方式的好处是程序在计算时,新撷取的影像不至于 覆盖掉原先运算到一半的影像数据,此外,程序也可以对先前处理过的影像做一个 history。 由于影像的复制要花时间,像是 NTSC 影像要花2-3ms,在一些对实时性要求严苛的应 用上会出问题,因此某些 HALCON 的取像接口提供了所谓 volatile grabbing mode。这种模 式下,取像器会直接将影像数据写进 HALCON 影像对象内存中,因此少了复制的动作时 间。不过就另一方面来说,新读取进来的影像会盖掉旧的影像。 至于哪些 frame grabber interface 有支持,请查看相关手册。
4.3.4 使用 HALCON 未支持的取像设备
如果您使用的取像设备 HALCON 并未支持,一样也可以将它和 HALCON 整合在一起。这部 分请参考 Frame Grabber Intergration Programmer's Manual,以及其中的范例程序代码。 如果您已经使用 frame grabber 所提供的 API 来取像,要让 HALCON 处理您的程序所取得 的影像数据,只要将您程序中储存影像的 buffer 指针传给 HALCON,用 gen_image1_extern 即可。
48
4.4 HALCON 的使用极限
影像尺寸 32768*32768 内存中影像数组数目 100000 每个参数包含的对象数目 100000 每张影像的频道数 1000 tuple 中的数值数据数目 1000000 一条等值在线的取样点数目 30000 一个多边型上的控制点数目 10000 影像坐标 -32768 到 +32768 字符串长度 1024 个字符
49
第五章 使用 Parallel HALCON
本章介绍如何使用 parllel HALCON,以及其特性,平行处理机制,以及对于撰写平行运算程 式的支持。 如同标准版的 HALCON,要使用 parallel HALCON 有两种方式,一种是用它提供的 libraries 来撰写程序,另一种是使用'parallel'版本的 HDevelop,即所谓 parallel HDevelop。
parallel HALCON 以及 HDevelop
HDevelop 有两种版本,一种是标准版的,使用的核心是一般的 HALCON library,就是上一 章解说以及范例中执行的程序 hdevelop。另一种是依据 Parallel HALCON library 而产生 的,这个版本在多处理器的计算机上会自动做平行处理,对应的程序是 parhdevelop。
在独立的程序中使用 parallel HALOCN
如同标准版的 HALCON,要自行撰写支持平行运算功能的程序,就要 link 相对应的 library。 在 Windows/NT/2000/XP 下,需要 parhalconc.dll 或是 parhalconcpp.dll,在 UNIX 下,需要 的 library 是 libhalcon.so,依据程序语言的不同,还需要 libparhalconc.so 或是 libparhalconcpp.so,详细的数据请参考 HALCON/C 或是 HALCON/C++的 User's Manual。
5.1 Automatic parallelization
如果 Parallel HALCON 安装在具有多处理器的计算机上,它会自动将处理影像的运算符做平行 化的处理。
5.1.1 Parallel HALCON 的初始化 为了要使并行计算机制调整到符合您使用的计算机,Parallel HALCON 会做一次硬件的检 查,之后要使用平行运算时就不必再调整。检查的方法,是由 parallel HALCON 呼叫 check_par_hw_potential,要注意的是,从标准版的 HALCON 执行这个运算符的话就会出现 错误讯息。同样的,如果您在单处理器的计算机上执行这个运算符,也会出现错误讯息。这个 检查功能可以单独执行,执行档为 hcheck_parallel.exe,位于 %HALCONROOT%bin%ARCHITECTURE%下。
Parallel HALCON 藉由呼叫 check_par_hw_potenial 来检查每个运算符在做平行化以后的 效率提升程度。每个运算符都会做数次平行以及循序式的测试运算,同时会改变参数来测试 其效能。经由这个测试,程序会找出不同参数对计算的影响,例如说影像大小等等,以及资 料平行处理的效率提升程度。这个过程可能会花上10分钟(依计算机效能而异)。 由这个过程取得的信息,在 Windows NT/2000/XP 下,存放在 Registry 中,在 UNIX 下存于
50
第一章 HALCON
恭喜诸位。 您采用了这套在产品研发,研究以及教育方面都有顶尖表现的影像分析软件。 HALCON 可在 UNIX,NT/2000/xp 等等平台下作业,它独特的 Library 提供了千余个为影像 分析作业,数据可视化,除错等等功能所设计的运算符,用户可以利用它的功能以 C 及 C++等程序语言自行撰写图像处理程序。 此外,HALCON 亦支持 Windows NT/2000/XP 下的 COM 接口,所以您也可以透过 Visual Basic 使用它,使得系统的整合更为容易。
HALCON 的设计使得影像区域,边缘,以及等值线的处理上更方便,优化的算法让这套 软件在一般的硬件上也有很好的指令周期。
HALCON 包含了名为 HDevelop 的程序设计界面,减少了设计软件所花的时间,还有一个好 用的联机帮助,您可以查到关于 HALCON 运算符间功能相近的替代者,可能的变化,以及 交互的参考。
HALCON 从 6.0 版开始提供两个版本,除了标准版外,还有支持平行运算的 parallel HALCON,可使用多 CPU 的机器,提高指令周期。
以下是 HALCON 特点的说明
1.1
HALCON 强化的 opreator library 提供有效率又有弹性的图像处理功能,简化了影像程序 的设计
HALCON operator library 有千余个运算符。所有的 HALCON 应用程序(像是 HDevelop 和 HALCON C++程序)皆是利用这个 library 来工作。 这些运算符功能广泛,包含了简单的读取影像,到复杂的像是 Kalman 滤波等。基本上这些 运算符各有其单一功能,而非包含了各种运算,因此一个影像分析功能是由好几个运算符组 成的,所以其弹性远大于由少数而复杂的运算符组成的分析程序。特化而复杂的运算符往往 只适用于某些工作甚至于影像,应用范围狭窄。相对于这种窘境,HALCON 运算符却能任 意组合来完成工作。 众多的运算符中,有些是以不同的算法来达到相同的功能,例如只需要粗略定位时,可用 fast_match 来作最快的运算,需要精确定位时,用 best_match,以较多的时间来求得最准 确结果。
1
HALCON 可处理彩色及多频道影像 可用于计算的影像数据,包含二值化影像,单色,彩色,或是多频影像,在使用上并无差别。
(多频道影像是以多镜头系统取得的影像数据)。
HALCON 提供了快速有效率的 region 处理计算
除了使计算更容易外,region 尺寸无限制,甚至于可以重迭,而 region 数据经过最佳的编码 处理,在内存中所占的资源极少。
HALCON 可做 ROI 的计算
每个影像中的物体都可由用户自行定义其 region,接着再由运算符进行计算时就可以只针 对定义区域作处理,因此可以集中运算资源和速度,达到最好的效率。
HALCON 提供了快速的 pattern 匹配计算
pattern 匹配在许多应用上是很有用的,但是却很花时间,HALCON 有许多不同的 pattern 演 算法,可以让您自行决定何时使用。
HALCON 提供了形状导向(shape-based)的匹配计算,使得物体有重迭或是旋转杂置的状况 下仍可计算。除了 pattern 匹配外,形状导向的运算符可以在物体有缩放,照明改变,旋转 或重迭等等情况下仍旧能辨认出物体。从 6.1 版开始,还有一个辅助工具 HMatchIt,透过简 易的设定即可用来测试匹配执行的效率,藉由参数的调整让您找出最佳的设定值,达到最快 的计算速度。
HALCON 提供了方便有效的 tuple 功能
tuples 是一种很有用的功能,使您处理影像,区域,参数等等数据集合时更为便利。HALCON 的 tuples 可以将相关数据整合成一个对象,用户可以针对单一或多个 tuples 作处理,您就 不必为一个 tuple 中有多少元素要处理而烦恼,只要将指定的 tuple 丢给运算符,HALCON 就会处理 tuple 中所有要计算的元素。
HALCON 在影像和数据管理上效率卓著
HALCON 有个快速有效率的内存管理核心,这个机制提供了数据的读写,还有溢位的检 查。为了提高效率,共享的影像数据不会在内存中重复。
HALCON 支持 C,C++以及 COM 的程序设计
您可以在自己撰写的 C,C++和 COM 程序中使用 HALCON 运算符,完成一个独立的程序。
HALCON 的 HDevelop 工具帮助您发展影像分析程序 撰写影像分析程序通常是旷日费时,为了帮助设计人员找出合适的运算符及参数,HALCON 发展出一套工具程序 HDevelop。它如帮助您呢? 首先 HDevelop 有一个图形接口,要使用 的运算符和要分析的影像一目了然,运算符可以自行组合,计算成果实时显示在影像中,可
2
以帮助使用者了解不同运算符和参数对计算的影响。同时它也会提出一些运算符或参数的建 议,在线辅助除了解释运算符如何工作外,还有范例的说明。 当您觉得计算成果满意了,可以把设计好的成果存成 HDevelop 的专用档案,下次可再叫用, 或者是将其输出成 C,C++或 COM 的程序代码,可供其他程序套用,就像自行撰写的程序一 样。
HALCON 可连接 40 余种影像撷取设备
目前支持的设备列表在 http://www.mvtec.com/halcon/,要连接取像设备,只要用运算符 open_framegrabber,给予格式或撷取模式等参数,再来用运算符 grab_image 即可取得影 像。
HALCON 可以让您自行新增取像设备
如果您用的取像设备 HALCON 尚未支持,您可以利用专用接口连接。HALCON 有个开放的 接口,配合一些程序代码,就可以和 HALCON 连接,相关的说明请参考 Frame Grabber Integration Programmer's Manual。
1.2 可执行 HALCON 的操作系统
下表说明了可执行 HALCON 的操作系统
Operating System Windows NT 4.0 /2000 /XP Linux 2.2/2.4 Solaris 7 IRIX 6.5 Tru64 UNIX 5.1
Processor compatible to Intel Pentium compatible to Intel Pentium SPARC MIPS Alpha Compiler MS Visual Studio 3 gcc 2.95 CC 5.2 CC cxx 可执行 HALCON 的操作系统一览表
请注意,在 Linux 下需要 libc6(glibc-2.1.x),这是在大部分的 Linux 系统像是 RedHat 或 SuSe 下需要的,请参考相关文件。
HALCON 也可以在 Philips TriMedia DSP 上执行,主计算机需安装 NT/2000/XP,这部分 请参考 HALCON/C 之 User's Manual。
3
1.3 Parallel HALCON 简介
简单的说,标准版的 HALCON 是在单处理器的计算机上执行单线程计算,在 NT/2000/XP, Linux,Solaris,HALCON 是 thread-safe,也就是可以做多绪执行,不过所有的运算符执行 时都是独一的,所以线程间必须要互相等待。
相对来说,Parallel HALCON 支持平行运算,是 thread-safe 以及 reentrant,也就是不同的 线程可以同时呼叫同一个运算符,可使用的操作系统包含 NT/2000/XP,Linux,Solaris。
除了平行运算外,Parallel HALCON 在多处理器的系统上,会自动将运算符作平行化,旧的 HALCON 也有此功能,像是 HDevelop 这个接口,所以您开发的 C++,C,不必再做更动。
平行化的机制是将要处理的数据,例如影像,由不同的处理器上执行不同的线程(所谓的 data parallelism),例如一张影像的滤波运算,在一个四处理器的计算机上执行时,计算工作会 被分成四份,由四个线程负责,每个线程都是做相同的滤波计算。由于待处理的影像在 系统中不必复制,因此 HALCON 的这种设计构想可以达到最好的效率。
至于平行化或数据分配的的程度可以实时掌控,以免造成反效果,例如一张很小的影像,又 要将数据分散处理反而会浪费时间,此外,不是所有的运算符做平行化都能提高效率。
此外,parallel HALCON 是用于内存共享的系统中,像是典型的多 CPU 主板,这样不同 的线程才能共享一个 HALCON 数据库,同时也不必再复制影像而造成占用内存。这样 一来有些系统是不适合执行 HALCON 的,像是 cluster 式的工作站或是一些不提供共享记忆 体的系统。
Parallel HALCON 也不提供 COM 接口,包含平行化机制和 reentrant,这是因为撰写 COM 的主要工具,Microsoft 的 Visual Basic ,尚未有效支持多绪执行之故。
4
1.4 其他数据
下列的手册提供了各种参考数据
HDevelop User's Manual 介绍与 HALCON 核心功能链接的图形用户接口 HDevelop。
HALCON/C++ User's Manual 如何在您写的 C++程序中使用 HALCON library。
HALCON/C User's Manual 如何在您写的 C 程序中使用 HALCON library。
HALCON/COM User's Manual 如何在您写的 COM 程序中使用 HALCON library,例如使用 Visual Basic。
Extension Package Programmer's Manual 如何自己设计一个运算符,并将其整合到 HALCON 中。
Frame Grabber Integration Programmer's Manual。 如何将一个新的取像设备加入 HALCON 的系统中。(更新到8.0后这个手册就没有了,改为image acquire)
HALCON/HDevelop,HALCON/C++,HALCON/C,HALCON/COM 所有 HALCON 运算符的参考手册。
Application Guide
这是几份各自独立的文件,即所谓的 Application Note,是以工业视觉应用的观点来写的, 主要是说明一些计算方式的关键以及使用时的注意事项以及要诀等等。例如以型状导向匹配 来寻找物体等等。
在 MVTec 的网站上所有的参考手册都有 PDF 檔及 HTML 文件可以下载,网址为 http://www.mvtec.com/halcon
5
由匹配找出来的区域会被标上框框,这样就能很清楚的看到结果。 最后,如果这个 template 不再使用了,要用 clear_template 将其清除,这样就可以将 template 所占用的内存释放。
3.12 控制结构
HALCON 提供了一系列控制结构的逻辑和循环运算等等,让您可以组成更复杂的功能,例如 用for组成循环,用if来进行判断。
在上一节的例子中,我们用 best_match 的成果来显示矩形,不过这样万一有计算失败的情 况发生时显示的矩形就会出问题,只要把 MaxError 调到5,就可以在画面上看到发生了什 么情况。在输入的计算区中要是匹配失败,Row 和 Column 会变成0,Error 值变成255。 为了修正这个问题,我们可以设计一个循环,且加入一个判别式,在 Error 值小于255, 也就是计算成功的情况下才显示矩形,同时我们也可以据以统计真正计算出的物体数目。先 设一个变数当记数器,起始值为0。
RealNumBalls := 0
再来建立一个循环,计数器用 i,end value 用 NumBalls,这个循环里会判别成果是否正确, 然后才显示矩形,同时累计正确的成果数目。
for i := 1 to NumBalls by 1
if (Error[i-1]<255)
disp_rectangle1(WindowID,Row[i-1]+Row1-TemplRow,
Column[i-1]+Column1-TemplCol
Row[i-1]+Row2-TemplRow,Column[i-1]+Column2-TemplCol)
RealNumBalls := RealNumBalls + 1 end if endfor
这样一来,计算成功的地方才会显示框框,而计算失败时就不显示,即可避免将框框以(0, 0)为中心画在画面上。
41
第四章 HALCON 之设计哲理
4.1 模块架构
HALCON 最基层的东西是 data management 以及 operator knowledge base。
data management 负责基本的内存管理,图像处理的存取,图像对象 tuple 的增删等等。 knowledge base 储存了运算符的数据,可在作业时同时取用,其他的模块用它来处理影像资 料,取得系统状态以及设定值数据等等。
knowledge base 也用于产生 HALCON 的语言接口(C,C++,COM),运算符的所有数据在 HDevelop,联机帮助以及手册中。同时也含有每个运算符的名称,参数形式,注意事项,预 设值等等。这些解说数据按照一定的结构排列。 在这两个模块上层的是运算符,大部分都是在 HALCON Image Processing Library 之中,而 这些模块可以透过所谓的 Package 来新增或延伸功能,这些新增的运算符和 HALCON 原有 的运算符有同样的特性和运用方式,因此系统的功能变成非常有弹性。利用相似的概念, Frame Grabber Interface 也是用动态的 library,因此用户可以自行新增和新取像设备链接 的接口,不必去更动系统的其他部分。 接下来是的模块是 Language-Independent Operator Interface,包含了呼叫运算符,数据输 入输出,以及传到最后输出的程序语言供用户撰写程序。运算符的功能是由 Language
Interface 呼叫,这个接口是根据运算符的基本资料再编译输出而成的,它使您能够以自己撰 写的 C 或 C++,COM 等等程序中使用 HALCON 的计算功能。
42
4.2 iconic 和 control 数据的处理
HALCON 系统下有两种主要的数据型态,iconic 和 control 数据。iconic 数据是和原来的影 像相关的,例如说影像,region,XLD对象等等,而 control 数据报含各类的数值资料,像 是整数,浮点数,字符串等等,用以定义输入值,参数,建立更复杂的数据像是 bar chart,变 数数组等等,而 HALCON 在处理这两种形式的数据时,都是以 tuple 的型态在处理的。
4.2.1 tuple 的处理
HALCON 运算符的各种输入输出参数,只要是含有资料的,其内容可以是单一的对象或是 对象/数值的 tuple,HALCON 在计算时同时会计算 tuple 中所有对象。例如说您要对六张影 像做 filter 处理,可以使用 median_image 六次,也可以将六张影像读进一个 tuple,然后呼 叫 median_image 一次。当输入一个 tuple 时,HALCON 就会同时对六张影像作处理,然后 输出一个 tuple,其中含有六张处理过的影像。在第三章的例子中,从影像中取出的数个 region 变成了 tuple,如果要求取每个 region 的中心,只要把这个 tuple 做为 area_center 的输入参 数,输出的 tuple 就包含了这些 region 中心位置的坐标组。
4.2.2image 物件
image 对象中包含了像元数据。它本身可以是 tuple,含有一张或是多张影像,每个影像对象 本身含有一个 domain,记载了面积,范围,以及一或多个频道的灰度值数据,而频道的数 目没有限制,一个单色影像只有一个频道,一般的全彩影像有三个(RGB),多光谱影像可能 就更多。 影像的 domain 可以是任何尺寸,其范围是以 region 表示,所以其中可以有空洞,或是有数 个彼此不相连的区域,一张影像默认的 domain 即是包含该张影像的最小矩形。domain 可以 任意修改变形,而每一张影像都有个别的 domain。 每张影像给定其定义区域有其好处,所有的运算符在做计算时都只在 domain 的范围内计 算,也就是在 ROI 中计算,因此待计算数据减少,速度得以加快。HALCON 提供了一个范 例 autobahn.dev,位于 %HALCONROOT%\\examples\\hdevelop\\Applications\\Sequences
43
图例 image object 的架构
图例 各种不同形状尺寸的 region
44
4.2.3 region 物件
region 记载了影像中的特定区域数据,例如说影像中明亮的部分,region 对象中可含有一个 以上的区域数据,这些数据是彼此互相独立的,而且即使记载了某张影像的区域,这些数据 和影像本身并非直接相关。这种设计使得 region 的资料可以是任意形状尺寸,而且储存时非 常有效率。在内存中的 region 数据和影像灰阶数据是分离的,即使 region 有互相重迭时, 内存中的影像数组不会受到任何影响。 region 的纪录方式是由 runlength encording 演变而来的,称之为 chord encording,纪录的 是每一条弦(线)的起讫点数据,这种方式使得 region 数据占用极少的内存资源,而且在做 计算,尤其是型态学的计算有很好的效率。
region 既然没有尺寸的限制,因此它甚至于可以超过原始影像尺寸,这在应用上有其长处, 例如 region 中含有圆形特征物体,且要将边缘圆滑来去掉一些缺角或漏洞,例如用 closing_circle 做运算。另一个例子是去掉物体上的鳍状突出,(HDevelop 的例子 fin2.dev, 位于%HALCONROOT%\\examples\\hdevelop\\Applications\\FA),这是利用同一个圆形元素来 做边缘的扩张和收缩,圆半径250,这个半径似乎很大,但是对 HALCON 来说不是问题, 计算后的区域就把突出物去掉而变平滑。如果 region 被限制在影像大小的区域,扩张和收缩 两个步骤后的区域形状就无法去除突出物。
图例 利用 region 来做边缘处理
45
图例 变量窗口
预设的 region 表示法就是用特定颜色在图形窗口中画出 region 的形状。您也可以自行修改 输出方式,像是颜色,线条粗细等等。从选单 Visualization 或是用 dev_*.等运算符来作业, 例如由 Visualization>Color 来选颜色,Visualization>Line>Width 来改变线宽,
Visualization>Draw 来指定画区域外围或是填满颜色。改变图形输出方法以后图形窗口都会 更新,要显示变量窗口中某个图像化变量,在上面点两下即可。
任意形状的 ROI
HALCON 可使用任意形状做为 ROI 区域。用选单 Operators>Graphics>Drawing 之 Draw_region,而不是用之前的画矩型的方法。
draw_region(ROI,windowID)
为了要让程序正确运作,请把其中 draw_rectangle1(在程序窗口中单击这一行就可以选 取)用 Edit>Deactivate 使其不执行,同样的,gen_rectangle1 也让它不执行。
计算适合的 ROI
用计算来找出 ROI 是利用影像分析的中间结果,这是最有挑战性,变化弹性最大的部分。在 3.8 节的例子中会介绍如何找出工件上的球型物。
31
当您产生一个 ROI 以后,可以用 reduce_domain,(Operators>Image>Domain),将影像约 化。其中 Die 为输入之影像,ROI 为输入之 region。
reduce_domain(Die,ROI,ImageReduced)
mean_image(ImageReduced,ImageMean,11,11)_
本例中输出影像名为 ImageReduced,只包含了 ROI 的部分,按 Clear 键清除画面,然后在 变量窗口中双击 ImageReduced 这个变量就可以看到约化的效果,此时您可以用一些运算符 对原始影像和 reduced 影像做运算,观察在效率上的差异。例如用
Operators>Filter>Smoothing 中的 mean_image,数入影像用原始影像\。然后再按 一下 Clear 键清除画面,在程序代码 mean_image 这行上双击,就可以输入参数,在这里把 输入的影像改为 ImageReduced。 要重复上列方式来观察不同 ROI 的差异,可以把 PC(program counter)放在 draw_rectangle 或是 draw_region 上,(看您用哪个方法)再按 RUN。要在某个运算符计算前中止程序,只要 在其前面放一个 BP(break point),按 Ctrl 键加上鼠标左键即可加上。
3.6 寻找正确的运算符
上一个单元中已经做出了一个 HALCON 对象,接下来要如何选用 HALCON 的一千多个运算 子呢? 主要是根据所要进行的分析工作而定,这要依靠用户的经验以及对于影像分析领域 的知识。虽然如此,HALCON 还是提供了一系列的方法,使得选择运算符更为正确而便利。
图例 用\字符串来选择\运算符
32
如果您知道运算符名称的部分字符串,只要在运算符窗口中的文字输入栏输入,所有含有符合 字符串的名字就会列在 combo box 中。 每个 HALCON 的运算符都有 HTML 格式的说明,从 Help>HTML 启动您预设的浏览器就可 以看。从这里可以看到所有的影像分析模块,排列方式和选单中的 Operator 一样。相关的运 算子间还有交错的连结可以参考。 还有一个索引,包含了所有的运算符,您可以从这个索引直接跳到要找的 HTML 数据。 另外,还有一个 Suggestion>Keywords,提供您从一些功能上的关键词,让您去找寻要用 的运算符。窗口左边是分类的功能叙述列表,例如 3d-projection,Arcs 等等,用鼠标点一下, 窗口右侧会列出相关的运算符,在左边多点几下,右侧的列表内容就会一直增加。要选用运 算子时,在右边的列表中点一下, 就可以切到运算符窗口来作业。
选好了运算符,像是例子里的 read_image,就可以从 operator knowledge base 中取得各类 参考数据。
HTML 格式的联机帮助。
在运算符窗口中按下 Help,就会启动默认的浏览器来显示所有相关的说明。
选单 Suggestion>Altinatives 在计算个过程中若是觉得结果不完全符合需求,可以从这里寻找功能类似而可能更合用的运 算子。要注意的是,通常您必须在速度和精度之间做一选择,例如用速度较快的 mean_image 做为某种情况下的 filter,要求高质量的结果时,用 gauss_image 或是 smooth_image 。
选单 Sugestions>See also
这里会列出另一类可能相关的运算符让您参考,例如在用 read_image 时,列出 write_image。
选单 suggestion>Predecessor 许多运算符在运作时需要其他运算符提供计算参数或数据,这里会列出先相关数据,例如要 用 junctions_skeleton 计算 skeleton 的交点时,要先用 skeleton 完成 region 之中 skeleton 的萃取。
选单 Suggestion>Successor 和上一项建议相反的,某些运算符后面常常会接着一些特定的运算符做后续计算,这里会提 出一些合理的运算符供您选择。
到目前为止,我们的例子只是产生了一个新影像,而后续还有非常多可以选用的运算符来做 各式各样的计算,我们暂且选用 successor 中建议的 threshold 来做下一步的运算。
33
3.7 找出正确的参数值
当您选择了一个运算符,例如在程序代码上双击或从选单中选择,运算符以及其相关变量会 出现在运算符窗口中。您可以自行键入所有参数,但是大部分的情况下,从 combo box 中选 择适当的参数显然最为便利,而一些参数的默认值,是由 HDevelop 所提供。 例如,从选单中 Operator>segmentation 选用 threshold 来处理影像,输入的影像名称由 combo box 中选\,参数中的 lower 及 upper threshold 的默认值,会使您输入的影像, 以其中灰度值大于128的部分做为输出的区域。输出的影像名称可自行名为 Brighregion。 为了让输出区域显示更为明了,可以更改图形窗口的 visualization mode,由选单或是在图形 窗口中右键单击,在\中选\,这样就会使输出区域填上颜色(颜色可由 Color 中选择, 例如选绿色)。要观察结果时,可以在图像变量区,双击\或是\,影像和 处理后产生的区域即可以分别显示。
图例 \中包含了灰度值大于等于128的像元
想要修改参数时,在程序代码上双击,就会出现对应的运算符窗口,然后您就可以修改参数。 这个时候您可以按 Apply,这个运算符会被立刻单独执行并且显示结果,这样就不必一直从 头再执行一次,参数的调整达到您要的效果以后,就可以按 OK,将修改部分写入 program 中。要注意的是,在每次显示计算结果时要记得 Clear 画面,或是将原始影像重新显示一次, 以免显示计算结果的区域或线条等等累积在画面中重迭。 (去哪clear?)
34
3.8 寻找 ROI
由影像\中可以发现,由于线路版的部分比较亮,因此由 threshold 的预设参数 128 及 255,即可产生一个合理的 raw segmentation,然后把这个区域转成一个 ROI,做为 bonding balls 侦测之用。选用 shapr_trans,以\为输入区域,参数用\,来找 出一个包含\最小的平行四边型。输出的 region 取名为\,差不多就是电路 板的大小了。再来用 3.5 节的方法 reduce_domain,把原始影像约化成包含 ROI 的范围。
threshold(Die,Brightregion,128,255) shape_trans(Brightregion,ROI,'rectangle2') reduce_domain(Die,ROI,DieROI)
接下来的计算,范围就定在最后的 DieROI 这张影像。
3.9 从型态学的方法来找球型物体
观察一下\这张影像,您会发现这些 bonding balls 的部分比电路板上大部分区域还黑, 因此可以再用 threshold 来处理一次。
图例 region \包含了较黑的像元 影像中免不了会
有噪声而造成许多小洞或是小点,因此要用一个有适度限制条件的\填补\功
35
能,例如 运算符 fill_up_shape(在 Operator>Regions>Transformation)就颇合适。
threshold(DieROI,RawSegmentation,0,50)
fill_up_shape(Rawsegmentation,Wires,'area',1,100)
此时,您可以在图像上点两下,比较 Wires 以及 RawSegmentation 这两个变量的图形有何 差异
图例 用 open_circle 来移掉不要的部分 不过到此时,影像中除
了 bonding balls 的部分之外,还有其他连接到 bonding balls 的深色
部分,而 bonding balls 本身很明显是一个圆形,因此可以用 opening_circle 来移除非圆形的 部分。
opening_circle(Wires,BallRegion,15.5)
再看看 Wires 和 BallRegion 之间的差异。 现在留在图面上的东西就剩下几个,由圆形元素
所填成的几个物体,但是这些物体是包含在 影像中的,其实只是影像中的一些灰阶特征,如果要做后续计算时,必须把这些物体抽出, 变成一个个独立的物体,这时候就要用到 connection 这个运算符。
connection(BallRegion,Balls)
经过这个运算,原本在 BallRegion 里的物体就被拆成八个独立对象,存放在新产生的对象叫
36
做 Balls,现在可以试试用不同的颜色表示。 Visualization>Colored 选12,这样就可以见 到不同的物体分别被以不同颜色标示,这是 HALCON 非常重要的功能,这些所谓的变量并 不是只能有单一数值或资料项,它是一个tuple,而在运算符计算时,给予的参数可以 是一个 tuple,计算时就会处理数据所有对象,而不必再一个个分别计算,这时您就不必在程 式中安排循环来做这些重复的动作。
最后要找出圆形物体,此时要剔除其他非圆形物体就简单多了,用 select_shape,在 Operators>Regions>Features 中,参数选用\,
select_shape(Balls,FinalBalls,'circularity','and',0.85,1.0)
现在再来看看 Die 和 FinalBalls 这两个变数。FinalBalls 中只含有七个球状物,这就是要找的 东西,下一个单元中会介绍如何量测。 以上所举例子中,用到的运算符及计算的全部过程正如下列般简单。
dev_open_window(0,0,-1,-1,black,WindowID)
read_image(Die,'die3')
threshold(Die,Brightregion,128,255)
shape_trans(Brightregion,ROI,'rectangle2') reduce_domain(Die,ROI,DieROI)
threshold(DieROI,RawSegmentation,0,50)
fill_up_shape(Rawsegmentation,Wires,'area',1,100) opening_circle(Wires,BallRegion,15.5) connection(BallRegion,Balls)
select_shape(Balls,FinalBalls,'circularity','and',0.85,1.0)
3.10 控制变量
现在我们已经找出了影像中的 bonding balls,接下来就可以做一些量测,例如说计算它们的 数量,用 count_obj(在 Operators>Object>Information 下)
count_obj(FinalBalls,NumBalls)
和 3.5 节的 draw_rectangle1 类似的,现在又产生了一个新的变量 NumBalls。HALCON 提 供了许多的特征辨认功能,(Operators>Regions>Features),现在可以再试试一个 smallest_circle,它的功能是在找出一个包含一 region 的最小圆,圆心位置以及半径。
smallest_circle(FinalBalls,Row,Column,Radius)
37
FinalBalls 含有七个对象,也就是七个圆,所以输出的数据 Row,Column,Radius 也都含 有七个数据,从变量窗口中就可以看到,要是对象含有的数据太多了,在窗口中无法一次完 全显示,可以在要查看的变量上双击,会出现一个窗口来显示全部数据。
接下来要对求得的控制数据作处理,这时要用到的是一些内建的功能,例如您可能会想要计 算 Radius 的平均值,而为了指定输出的变量,用的功能是 assign,(在 Operator>Control 下)
assign(meanRadius,sum(Radius)/|Radius|)
*注意,'||'中求的不是绝对值,而是 tuple 数据的数目,这个例子中就是7。 显示在程序窗口中就如下列。
meanRadius := sum(Radius)/|Rdaius|
在品管方面比较合理的应用是计算球的面积,或是再找出最小面积,用 area_center(在 Operators>Regions>Features 中),算出每一个球的面积,然后找出一个最小值,用 assign 把值指定给 minArea。
area_center(FinalBalls,Area,RowCenter,Colcenter)
minArea := min(Area)
控制变量的 tuple 也可以做为输入的参数,例如,把计算出的圆画在窗口中 disp_circle(WindoID,Row,Column,Radius),就可以画出七个圆。
3.11 用 pattern 匹配来找寻 bonding ball
在上一节中介绍了利用 threshold 找出 ROI,再加上型态学的方法找出要的圆形,在这一节 中,要介绍的是用一种完全不同的方式来来找出标的物。进行 pattern matching 时有两个基 本的步骤。
1.产生一个 template
2.在影像中找寻这个 template
38
图例 影像中圈出的 template
在这个范例中,会介绍如何产生包含这个 bonding ball 的一个 template
dev_close_window() 关闭图形窗口
dev_open_window(0,300,-1,-1,'black',WindowID) 产生一个新窗口,并且产生一个
window 的 ID,供下一个运算符
使用
read_image(Die4,'C:\\\\Program Files\\\\MVTec\\\\HALCON\\\\images\\\\die4.tif') 读取图档 draw_rectangle1(WindowID,Row1,Column1,Row2,Column2) 框取 template,取得座
标。
gen_rectangle1(ROI,Row1,Column1,Row2,Column2),用这组坐标产生一矩形 reduce_domain(Die4,ROI,ImageReduced) 产生 ROI,名为 ImageReduced
现在 ImageReduced 中就只含有要搜寻的 bonding ball,再来就要产生一个 template,由 Operators>Filter>Match,选用 create_template
create_template(ImageReduced,5,4,'sort','original',templateID)
为了要显示 matching 的成果,需要计算 template 中心,用 assign 来指定计算出来的数值。
TemplRow := (Row1+Row2)/2
TemplCol := (Col1+Col2)/2
接下来就是进行 matching 计算,在这里会用到两种计算法,用两个计算步骤,先用快速的 matching 来找出所有可能的区域,第二个步骤再用精确的计算,在每一个可能的区域中精确
39
定出正确位置。首先用的运算符是 fast_match,在 Operators>Filter>Match 下。
fast_match(Die4,Matches,templateID,20)
此时在变量窗口中 matches 上双击,画面上会出现七个点,此时用的参数 MaxError 设2 0,这个容许误差参数的调整影响到计算速度。用较小的数值可能会造成某些物体未被找出, 较大的数值则会增加计算时间。 除了 fast_match 之外,还有另一个运算符 fast_match_mg,可以调整不同的计算 level,您 可以试试不同的 level 对速度的影响。
fast_match_mg(Die4,Matches1,TemplateID,20,3)
在找出了可能的区域之后,接下来用 connection 把这些区域拆开,放进一个 tuple,做为最 后精确计算时的数据源。
connection(Matches1,BallROI)
如果各种参数都设定得很适当,这个图中应该会找到七个 region,我们可以用 count_obj 来 确认数目
count_obj(BallROI,NumBall)
最后再用精确的匹配 best_match。但是在精确匹配之前要先做一个动作,由于 connection 产生的对象 BallROI 是一个 region 的 tuple,本身不含影像数据,但是匹配计算需要依据原 始影像,因此要先在 region 中填入影像数据,用 Operators>Image>Domain 下的 add_channels add_channels(BallROI,Die4,
BallImage)
best_match(BallImage,TemplateID,20,'true'Row,column,Error)
此时在变量窗口中会显示出计算出来的 Row,Column,Error 等等数据,在这些变量上按两 下,就会出现一个小窗口,列出所有数值(应该有七个)。 最后为了显示成果,可以在画面上依据计算成果绘图,在 Operators>Graphics>Output 下, 用 disp_rectangle1
disp_rectangle1(WindowID,Row+Row1-TemplRow,Column+Column1-TemplCol
Row+Row2-TemplRow,Column+Column2-TemplCol)
40
百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读,免费范文网,提供经典小说综合文库HALCON手册简体中文版在线全文阅读。
相关推荐: