表面缺陷是產(chǎn)品表面局部物理或化學(xué)性質(zhì)不均勻的區(qū)域，如金屬表面的劃痕、斑點(diǎn)、孔洞，紙張表面的色差、壓痕，玻璃等非金屬表面的夾雜、破損、污點(diǎn)等等。表面缺陷不僅影響產(chǎn)品的美觀和舒適度，而且一般也會(huì)對(duì)其使用性能帶來(lái)不良影響，所以生產(chǎn)企業(yè)對(duì)產(chǎn)品的表面缺陷檢測(cè)非常重視，以便及時(shí)發(fā)現(xiàn)，從而有效控制產(chǎn)品質(zhì)量，還可以根據(jù)檢測(cè)結(jié)果分析生產(chǎn)工藝中存在的某些問(wèn)題，從而杜絕或減少缺陷品的產(chǎn)生，同時(shí)防止?jié)撛诘馁Q(mào)易糾份，維護(hù)企業(yè)榮譽(yù)。

人工檢測(cè)是產(chǎn)品表面缺陷的傳統(tǒng)檢測(cè)方法，該方法抽檢率低、準(zhǔn)確性不高、實(shí)時(shí)性差、效率低、勞動(dòng)強(qiáng)度大、受人工經(jīng)驗(yàn)和主觀因素的影響大，而基于機(jī)器視覺(jué)的檢測(cè)方法可以很大程度上克服上述弊端。

機(jī)器視覺(jué)技術(shù)是一種無(wú)接觸、無(wú)損傷的自動(dòng)檢測(cè)技術(shù)，是實(shí)現(xiàn)設(shè)備自動(dòng)化、智能化和精密控制的有效手段，具有安全可靠、光譜響應(yīng)范圍寬、可在惡劣環(huán)境下長(zhǎng)時(shí)間工作和生產(chǎn)效率高等突出優(yōu)點(diǎn)。機(jī)器視覺(jué)檢測(cè)系統(tǒng)通過(guò)適當(dāng)?shù)墓庠春蛨D像傳感器(CCD攝像機(jī))獲取產(chǎn)品的表面圖像，利用相應(yīng)的圖像處理算法提取圖像的特征信息，然后根據(jù)特征信息進(jìn)行表面缺陷的定位、識(shí)別、分級(jí)等判別和統(tǒng)計(jì)、存儲(chǔ)、查詢等操作；

機(jī)器視覺(jué)表面缺陷檢測(cè)系統(tǒng)基本組成

主要包括圖像獲取模塊、圖像處理模塊、圖像分析模塊、數(shù)據(jù)管理及人機(jī)接口模塊。

圖像獲取模塊由CCD攝像機(jī)、光學(xué)鏡頭、光源及其夾持裝置等組成，其功能是完成產(chǎn)品表面圖像的采集。在光源的照明下，通過(guò)光學(xué)鏡頭將產(chǎn)品表面成像于相機(jī)傳感器上，光信號(hào)先轉(zhuǎn)換成電信號(hào)，進(jìn)而轉(zhuǎn)換成計(jì)算機(jī)能處理的數(shù)字信號(hào)。目前工業(yè)用相機(jī)主要基于CCD或CMOS(complementary metal oxide semiconductor)芯片的相機(jī)。CCD是目前機(jī)器視覺(jué)最為常用的圖像傳感器。

機(jī)器視覺(jué)光源直接影響到圖像的質(zhì)量，其作用是克服環(huán)境光干擾，保證圖像的穩(wěn)定性，獲得對(duì)比度盡可能高的圖像。目前常用的光源有鹵素?zé)?、熒光燈和發(fā)光二級(jí)管(LED)。LED光源以體積小、功耗低、響應(yīng)速度快、發(fā)光單色性好、可靠性高、光均勻穩(wěn)定、易集成等優(yōu)點(diǎn)獲得了廣泛的應(yīng)用。

由光源構(gòu)成的照明系統(tǒng)按其照射方法可分為明場(chǎng)照明與暗場(chǎng)照明、結(jié)構(gòu)光照明與頻閃光照明。明場(chǎng)與暗場(chǎng)主要描述相機(jī)與光源的位置關(guān)系，明場(chǎng)照明指相機(jī)直接接收光源在目標(biāo)上的反射光，一般相機(jī)與光源異側(cè)分布，這種方式便于安裝；暗場(chǎng)照明指相機(jī)間接接收光源在目標(biāo)上的散射光，一般相機(jī)與光源同側(cè)分布，它的優(yōu)點(diǎn)是能獲得高對(duì)比度的圖像。結(jié)構(gòu)光照明是將光柵或線光源等投射到被測(cè)物上，根據(jù)它們產(chǎn)生的畸變，解調(diào)出被測(cè)物的3維信息。頻閃光照明是將高頻率的光脈沖照射到物體上，攝像機(jī)拍攝要求與光源同步。

圖像處理模塊主要涉及圖像去噪、圖像增強(qiáng)與復(fù)原、缺陷的檢測(cè)和目標(biāo)分割。由于現(xiàn)場(chǎng)環(huán)境、CCD圖像光電轉(zhuǎn)換、傳輸電路及電子元件都會(huì)使圖像產(chǎn)生噪聲，這些噪聲降低了圖像的質(zhì)量從而對(duì)圖像的處理和分析帶來(lái)不良影響，所以要對(duì)圖像進(jìn)行預(yù)處理以去噪。圖像增強(qiáng)目是針對(duì)給定圖像的應(yīng)用場(chǎng)合，有目的地強(qiáng)調(diào)圖像的整體或局部特性，將原來(lái)不清晰的圖像變得清晰或強(qiáng)調(diào)某些感興趣的特征，擴(kuò)大圖像中不同物體特征之間的差別，抑制不感興趣的特征，使之改善圖像質(zhì)量、豐富信息量，加強(qiáng)圖像判讀和識(shí)別效果的圖像處理方法。圖像復(fù)原是通過(guò)計(jì)算機(jī)處理，對(duì)質(zhì)量下降的圖像加以重建或復(fù)原的處理過(guò)程。圖像復(fù)原很多時(shí)候采用與圖像增強(qiáng)同樣的方法，但圖像增強(qiáng)的結(jié)果還需要下一階段來(lái)驗(yàn)證；而圖像復(fù)原試圖利用退化過(guò)程的先驗(yàn)知識(shí)，來(lái)恢復(fù)已被退化圖像的本來(lái)面目，如加性噪聲的消除、運(yùn)動(dòng)模糊的復(fù)原等。圖像分割的目的是把圖像中目標(biāo)區(qū)域分割出來(lái)，以便進(jìn)行下一步的處理。

圖像分析模塊主要涉及特征提取、特征選擇和圖像識(shí)別。

特征提取的作用是從圖像像素中提取可以描述目標(biāo)特性的表達(dá)量，把不同目標(biāo)間的差異映射到低維的特征空間，從而有利于壓縮數(shù)據(jù)量、提高識(shí)別率。表面缺陷檢測(cè)通常提取的特征有紋理特征、幾何形狀特征、顏色特征、變換系數(shù)特征等，用這些多信息融合的特征向量來(lái)區(qū)可靠地區(qū)分不同類型的缺陷；這些特征之間一般存在冗余信息，即并不能保證特征集是最優(yōu)的，好的特征集應(yīng)具備簡(jiǎn)約性和魯棒性，為此，還需要進(jìn)一步從特征集中選擇更有利于分類的特征，即特征的選擇。圖像識(shí)別主要根據(jù)提取的特征集來(lái)訓(xùn)練分類器，使其對(duì)表面缺陷類型進(jìn)行正確的分類識(shí)別。

數(shù)據(jù)管理及人機(jī)接口模塊可在顯示器上立即顯示缺陷類型、位置、形狀、大小，對(duì)圖像進(jìn)行存儲(chǔ)、查詢、統(tǒng)計(jì)等。

機(jī)器視覺(jué)表面缺陷檢測(cè)主要包括2維檢測(cè)和3維檢測(cè)，前者是當(dāng)前的主要表面缺陷檢測(cè)方式，也是本文的著重論述之處。

機(jī)器視覺(jué)在工業(yè)檢測(cè)、包裝印刷、食品工業(yè)、航空航天、生物醫(yī)學(xué)工程、軍事科技、智能交通、文字識(shí)別等領(lǐng)域得到了廣泛的應(yīng)用。工業(yè)檢測(cè)領(lǐng)域是機(jī)器視覺(jué)應(yīng)用中比重最大的領(lǐng)域，主要用于產(chǎn)品質(zhì)量檢測(cè)、產(chǎn)品分類、產(chǎn)品包裝等，如：零件裝配完整性檢測(cè)，裝配尺寸精度檢測(cè)，位置/角度測(cè)量，零件識(shí)別，PCB板檢測(cè)，印刷品檢測(cè)，瓶蓋檢測(cè)，玻璃、煙草、棉花檢測(cè)，以及指紋、汽車牌照、人臉、條碼等識(shí)別。表面質(zhì)量檢測(cè)系統(tǒng)是工業(yè)檢測(cè)的極其重要的組成部分，機(jī)器視覺(jué)表面缺陷檢測(cè)在許多行業(yè)開(kāi)始應(yīng)用，涉及鋼板等多種關(guān)系國(guó)計(jì)民生的行業(yè)和產(chǎn)品。

1 研究現(xiàn)狀、視覺(jué)軟件系統(tǒng)和研究平臺(tái)

1.1 研究現(xiàn)狀

機(jī)器視覺(jué)在金屬(特別是鋼板)表面、紙張等印刷品、紡織品、磁磚、玻璃、木材等表面缺陷檢測(cè)國(guó)內(nèi)外有較多的研究成果，不乏成功應(yīng)用系統(tǒng)和案例。

在鋼板表面缺陷檢測(cè)領(lǐng)域，美國(guó)Westinghouse公司采用線陣CCD攝像機(jī)和高強(qiáng)度的線光源檢測(cè)鋼板表面缺陷，并提出了將明域、暗域及微光域3種照明光路形式組合應(yīng)用于檢測(cè)系統(tǒng)的思路。這些系統(tǒng)可識(shí)別的缺陷種類相對(duì)較少，并且不具備對(duì)周期性缺陷的識(shí)別能力。美國(guó)Cognex公司研制成功了iS-2000自動(dòng)檢測(cè)系統(tǒng)和iLearn自學(xué)習(xí)分類器軟件系統(tǒng)。這兩套系統(tǒng)配合有效改善了傳統(tǒng)自學(xué)習(xí)分類方法在算法執(zhí)行速度、數(shù)據(jù)實(shí)時(shí)吞吐量、樣本訓(xùn)練集規(guī)模及模式特征自動(dòng)選擇等方面的不足；Parsytec公司為韓國(guó)浦項(xiàng)制鐵公司研制了冷軋鋼板表面缺陷檢測(cè)系統(tǒng)HTS，該系統(tǒng)能對(duì)高速運(yùn)動(dòng)的熱軋鋼板表面缺陷進(jìn)行在線自動(dòng)檢測(cè)和分級(jí)的系統(tǒng)，在連軋機(jī)和CSP生產(chǎn)線上取得了良好的效果[23]；英國(guó)European Electronic System公司研制的EES系統(tǒng)也成功地應(yīng)用于熱連軋環(huán)境下的鋼板質(zhì)量自動(dòng)檢測(cè)。EES系統(tǒng)實(shí)時(shí)地提供高清晰度、高可靠性的鋼板上下表面的缺陷圖像，最終交由操作員進(jìn)行缺陷類型的分類判別。國(guó)內(nèi)北京科技大學(xué)的高效軋制國(guó)家工程研究中心也在進(jìn)行鋼板表面質(zhì)量檢測(cè)系統(tǒng)的研制，對(duì)其常見(jiàn)缺陷類型進(jìn)行了檢測(cè)與識(shí)別，取得了一定的研究成果，東北大學(xué)、上海寶鋼集團(tuán)公司、武漢科技大學(xué)等科研院所研究了冷軋鋼板表面缺陷的檢測(cè)系統(tǒng)[26-28]，重慶大學(xué)對(duì)高溫連鑄坯表面缺陷進(jìn)行了研究。

在其他領(lǐng)域，視覺(jué)表面缺陷檢測(cè)也得到了廣泛的研究和應(yīng)用。文獻(xiàn)[30]對(duì)規(guī)則紋理表面(天然木材、機(jī)械加工表面、紡織面料)的表面缺陷采用傅里葉變換進(jìn)行圖像的復(fù)原，高頻的傅里葉分量對(duì)應(yīng)表面紋理線型，而低頻的傅里葉分量對(duì)應(yīng)表面缺陷區(qū)域。文獻(xiàn)[31]研究了鋁帶連鑄生產(chǎn)中的表面缺陷檢測(cè)，通過(guò)紅外檢測(cè)提供鋁帶表面溫度的分布情況以評(píng)估鋁帶質(zhì)量，采集鋁帶圖像，進(jìn)行表面缺陷檢測(cè)和分類。文獻(xiàn)[32]將機(jī)器視覺(jué)應(yīng)用于集成電路晶片表面缺陷檢測(cè)，使用模糊邏輯對(duì)表面凹坑缺陷的不同形狀進(jìn)行分析處理。文獻(xiàn)[33]利用圖像對(duì)鐵軌的表面質(zhì)量進(jìn)行自動(dòng)檢測(cè)，車載檢測(cè)系統(tǒng)對(duì)鐵軌的表面質(zhì)量進(jìn)行實(shí)時(shí)檢測(cè)和分類。文獻(xiàn)[34]基于機(jī)器視覺(jué)系統(tǒng)對(duì)雞肉包裝前的質(zhì)量檢測(cè)，根據(jù)雞肉圖像的顏色信息，采用數(shù)學(xué)形態(tài)學(xué)方法對(duì)潛在的問(wèn)題區(qū)域進(jìn)行特征提取，然后按預(yù)定義的質(zhì)量問(wèn)題列表進(jìn)行分類。文獻(xiàn)[35]針對(duì)隨機(jī)紋理的彩色圖像提出了一種利于分水嶺變換的顏色相似性度量，提取了圖像的顏色和紋理特征，實(shí)現(xiàn)了隨機(jī)紋理表面缺陷的自動(dòng)分割和檢測(cè)。文獻(xiàn)[36]采用雙目立體視覺(jué)，基于特征立體匹配算法對(duì)掃描電鏡圖像研究了物體的表面深度信息。文獻(xiàn)[37]介紹了一種皮革表面缺陷檢測(cè)的方法，采用OTSU方法進(jìn)行缺陷分割，利用歐式距離聚類法進(jìn)行缺陷分類，在分類聚類時(shí)使用形態(tài)學(xué)算子進(jìn)行腐蝕運(yùn)算，實(shí)驗(yàn)結(jié)果表明了該方法的有效性。文獻(xiàn)[38]對(duì)玻璃缺陷進(jìn)行了識(shí)別，把采集到的缺陷圖像縮放到10×10的大小，然后把這個(gè)100個(gè)像素值作為特征向量，分別運(yùn)用徑向基(RBF)神經(jīng)網(wǎng)絡(luò)和決策樹(shù)進(jìn)行識(shí)別；該方法的缺點(diǎn)是不同缺陷縮放后造成部分信息的丟失。文獻(xiàn)[39]研究了一種玻璃缺陷識(shí)別的專家系統(tǒng)(ES)，首先需要電子顯微技術(shù)和等離子射線獲得缺陷信息作為知識(shí)庫(kù)，對(duì)未知的玻璃缺陷通過(guò)搜索知識(shí)庫(kù)對(duì)缺陷信息進(jìn)行匹配，選擇最相近的類別作為輸出；該方法的缺點(diǎn)是分類采用貪婪搜索法，匹配速度慢。文獻(xiàn)[40]針對(duì)機(jī)器視覺(jué)在產(chǎn)品表面粗糙度的檢測(cè)方法作了描述，首先建立粗糙度的模型，然后以表面的累加偏差作為特征通過(guò)神經(jīng)網(wǎng)絡(luò)(ANN)進(jìn)行等級(jí)劃分，并闡述了不同的ANN模型對(duì)識(shí)別結(jié)果的影響。

1.2 視覺(jué)軟件系統(tǒng)

機(jī)器視覺(jué)軟件系統(tǒng)除具有圖像處理和分析功能外，還應(yīng)具有界面友好、操作簡(jiǎn)單、擴(kuò)展性好、與圖像處理專用硬件兼容等優(yōu)點(diǎn)。國(guó)外視覺(jué)檢測(cè)技術(shù)研究開(kāi)展的較早，已涌現(xiàn)了許多較為成熟的商業(yè)化軟件，應(yīng)該比較多的有HALCON、HexSight、Vision Pro、LEADTOOLS等[41]。

HALCON是德國(guó)MVtec公司開(kāi)發(fā)的一套完善的標(biāo)準(zhǔn)的機(jī)器視覺(jué)算法包，擁有應(yīng)用廣泛的機(jī)器視覺(jué)集成開(kāi)發(fā)環(huán)境維視圖像開(kāi)發(fā)定制軟件，在歐洲以及日本的工業(yè)界已經(jīng)是公認(rèn)具有最佳效能的Machine Vision軟件。HALCON的image processing library，由一千多個(gè)各自獨(dú)立的函數(shù)和底層的數(shù)據(jù)管理核心構(gòu)成，其函數(shù)庫(kù)可以用C，C++，C#，Visual basic和Delphi等多種普通編程語(yǔ)言訪問(wèn)。HALCON百余種工業(yè)相機(jī)和圖像采集卡提供接口，包括GenlCam，GigE和IIDC 1394。HALCO還具有強(qiáng)大的3維視覺(jué)處理能力，另外，自動(dòng)算子并行處理(AOP)技術(shù)是HALCON的一個(gè)獨(dú)特性能。HALCON應(yīng)用范圍涵蓋自動(dòng)化檢測(cè)、醫(yī)學(xué)和生命科學(xué)，遙感探測(cè)，通訊和監(jiān)控等眾多領(lǐng)域。

Adept公司出品的HexSight是一款高性能的、綜合性的視覺(jué)軟件開(kāi)發(fā)包，它提供了穩(wěn)定、可靠及準(zhǔn)確定位和檢測(cè)零件的機(jī)器視覺(jué)底層函數(shù)。HexSight的定位工具是根據(jù)幾何特征、采用輪廓檢測(cè)技術(shù)來(lái)識(shí)別對(duì)象和模式。在圖像凌亂、亮度波動(dòng)、圖像模糊和對(duì)象重疊等方面有顯著效果。HexSight能處理自由形狀的對(duì)象，并具有功能強(qiáng)大的去模糊算法。HexSight軟件包含一個(gè)完整的底層機(jī)器視覺(jué)函數(shù)庫(kù)，可用來(lái)建構(gòu)完整的高性能2D機(jī)器視覺(jué)系統(tǒng)，可利用Visual Basic、Visual C++或Borland Dephi平臺(tái)方便地進(jìn)行二次開(kāi)發(fā)。其運(yùn)算速度快，在一臺(tái)2 GHz的處理器上尋找和定位一般的零部件不超過(guò)10 ms；具有1/40亞像素平移重復(fù)精度和0.05度旋轉(zhuǎn)重復(fù)精度。此外，內(nèi)置的標(biāo)定模塊能矯正畸變、投影誤差和X-Y像素比誤差，完整的檢測(cè)工具包含硬件接口、圖像采集、圖像標(biāo)定、圖像預(yù)處理、幾何定位、顏色檢測(cè)、幾何測(cè)量、Blob分析、清晰度評(píng)價(jià)(自動(dòng)對(duì)焦)、模式匹配、邊緣探測(cè)等多種多樣，開(kāi)放式體系結(jié)構(gòu)，支持DirectShow、DCam，GigE vision等多種通用協(xié)議，幾乎與市面上所有商業(yè)圖像采集卡，以及各種USB、1394以及GigE接口的攝像機(jī)兼容。

Cognex公司的VisionPro是一套基于.Net的視覺(jué)工具，適用于包括FireWire和CameraLink在內(nèi)的所有硬件平臺(tái)，利用ActiveX控制可快速完成視覺(jué)應(yīng)用項(xiàng)目程序的原模型開(kāi)發(fā)，可使用相應(yīng)的Visual Basic、VB.Net、C#或C++搭建出更具個(gè)性化的應(yīng)用程序。

LEADTOOLS在數(shù)碼圖像開(kāi)發(fā)工具領(lǐng)域中已成為全球領(lǐng)導(dǎo)者之一，是目前功能強(qiáng)大的優(yōu)秀的圖形、圖像處理開(kāi)發(fā)包，它可以處理各種格式的文件，并包含所有圖形、圖像的處理和轉(zhuǎn)換功能，支持圖形、圖像、多媒體、條形碼、OCR、Internet、DICOM等等，具有各種軟硬件平臺(tái)下的開(kāi)發(fā)包。

此外，還有Dalsa公司的Sherlock檢測(cè)軟件，日本的OMRON和Keyence，德國(guó)SIEMENS等，這些機(jī)器視覺(jué)軟件都能提供完整的表面缺陷檢測(cè)方法。

國(guó)內(nèi)機(jī)器視覺(jué)檢測(cè)系統(tǒng)開(kāi)發(fā)較晚，成果比較好的是維視智造研發(fā)的 VisionBank SVS智能視覺(jué)軟件，其表面缺陷檢測(cè)、定位、尺寸測(cè)量、顏色識(shí)別等功能強(qiáng)大，有10大功能模塊，128個(gè)檢測(cè)工具。

機(jī)器視覺(jué)系統(tǒng)的研究和應(yīng)用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、交通和安全等國(guó)民經(jīng)濟(jì)的各個(gè)領(lǐng)域，基于機(jī)器視覺(jué)的產(chǎn)品表面質(zhì)量檢測(cè)在現(xiàn)代自動(dòng)化生產(chǎn)中得到了越來(lái)越多的重視和應(yīng)用。

機(jī)器視覺(jué)表面缺陷檢測(cè)系統(tǒng)中，圖像處理和分析算法是重要的內(nèi)容，通常的流程包括圖像的預(yù)處理、目標(biāo)區(qū)域的分割、特征提取和選擇及缺陷的識(shí)別分類。每個(gè)處理流程都出現(xiàn)了大量的算法，這些算法各有優(yōu)缺點(diǎn)和其適應(yīng)范圍。如何提高算法的準(zhǔn)確性、執(zhí)行效率、實(shí)時(shí)性和魯棒性，一直是研究者們努力的方向。

機(jī)器視覺(jué)表面檢測(cè)比較復(fù)雜，涉及眾多學(xué)科和理論，機(jī)器視覺(jué)是對(duì)人類視覺(jué)的模擬，但是目前對(duì)人的視覺(jué)機(jī)制尚不清楚，盡管每一個(gè)正常人都是“視覺(jué)專家”，但難以用計(jì)算機(jī)表達(dá)自己的視覺(jué)過(guò)程，因此構(gòu)建機(jī)器視覺(jué)檢測(cè)系統(tǒng)還要進(jìn)一步通過(guò)研究生物視覺(jué)機(jī)理來(lái)完善，使檢測(cè)進(jìn)一步向自動(dòng)化和智能化方向發(fā)展。

1/5