熱門搜索關(guān)鍵詞:視覺光源 工業(yè)機(jī)器人系統(tǒng)平臺(tái)智能視覺軟件遠(yuǎn)心系統(tǒng) 光伏視覺檢測(cè)
熱門搜索關(guān)鍵詞:視覺光源 工業(yè)機(jī)器人系統(tǒng)平臺(tái)智能視覺軟件遠(yuǎn)心系統(tǒng) 光伏視覺檢測(cè)
機(jī)器視覺技術(shù)是運(yùn)用光學(xué)設(shè)備獲取真實(shí)圖像,通過圖像處理技術(shù)進(jìn)行圖像分析獲取所需信息或控制機(jī)械執(zhí)行裝置完成預(yù)設(shè)操作的一種非接觸式測(cè)量技術(shù),可以對(duì)目標(biāo)物體的外形特征、位移尺寸等幾何量進(jìn)行實(shí)時(shí)、在線檢測(cè),具有準(zhǔn)確可靠、高精度等優(yōu)點(diǎn),廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、制造業(yè)、交通業(yè)、航空航天等領(lǐng)域。
機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用研究起始于20世紀(jì)70年代,主要集中在植物種類的鑒別、農(nóng)產(chǎn)品品質(zhì)檢測(cè)等方面,初期的研究多數(shù)是對(duì)機(jī)器視覺在農(nóng)業(yè)應(yīng)用的可行性分析及圖像處理算法的開發(fā)。隨著計(jì)算機(jī)軟硬件、圖像采集處理裝置、圖像處理技術(shù)的迅猛發(fā)展,機(jī)器視覺技術(shù)在農(nóng)業(yè)的應(yīng)用領(lǐng)域不斷擴(kuò)展。目前,美國(guó)、日本、德國(guó)等發(fā)達(dá)國(guó)家已經(jīng)開始將機(jī)器視覺系統(tǒng)應(yīng)用到農(nóng)業(yè)生產(chǎn)的各個(gè)階段,以解決人口老齡化加劇、勞動(dòng)力缺失等問題引起的挑戰(zhàn)。
中國(guó)的相關(guān)研究,多數(shù)仍處于試驗(yàn)階段,但隨著國(guó)家的政策支持和經(jīng)濟(jì)投入,也取得一定研究成果;機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域主要應(yīng)用于農(nóng)產(chǎn)品質(zhì)量分級(jí)和無損檢測(cè)、作物信息監(jiān)測(cè)等?;跈C(jī)器視覺的農(nóng)業(yè)裝備可以極大提高生產(chǎn)效率,實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)的智能化。隨著智能駕駛的興起,農(nóng)田車輛導(dǎo)航成為當(dāng)前研究熱點(diǎn),搭載機(jī)器視覺系統(tǒng)的智能農(nóng)業(yè)機(jī)械也廣泛地應(yīng)用在農(nóng)業(yè)生產(chǎn)中。中國(guó)正處于傳統(tǒng)農(nóng)業(yè)向現(xiàn)代農(nóng)業(yè)的過渡期,融合各種現(xiàn)代化智能技術(shù)的農(nóng)業(yè)將成為未來發(fā)展趨勢(shì)。機(jī)器視覺技術(shù)在農(nóng)業(yè)生產(chǎn)的應(yīng)用可以節(jié)約勞動(dòng)力、帶動(dòng)產(chǎn)業(yè)升級(jí)、推動(dòng)農(nóng)業(yè)現(xiàn)代化的發(fā)展進(jìn)程,對(duì)未來農(nóng)業(yè)的智能化發(fā)展有重要意義。
機(jī)器視覺技術(shù)概述
機(jī)器視覺系統(tǒng)一般包括光源系統(tǒng)、圖像捕捉系統(tǒng)、圖像數(shù)字化模塊、圖像處理系統(tǒng)和控制執(zhí)行模塊。首先采用CCD(CMOS)攝像機(jī)獲取圖像,經(jīng)采樣量化后將模擬圖像轉(zhuǎn)換為數(shù)字影像或數(shù)字信號(hào)傳送到圖像處理系統(tǒng)。圖像處理系統(tǒng)對(duì)這些信號(hào)運(yùn)用各種運(yùn)算進(jìn)行目標(biāo)特征的提取,如目標(biāo)的顏色、位置、大小等,根據(jù)預(yù)設(shè)的判定標(biāo)準(zhǔn)輸出所需結(jié)果、顯示數(shù)據(jù)或控制執(zhí)行模塊完成預(yù)定操作。
現(xiàn)在機(jī)器視覺技術(shù)已經(jīng)發(fā)展成為一門涉及人工智能、神經(jīng)生物學(xué)、心理物理學(xué)、計(jì)算機(jī)科學(xué)、圖像處理、模式識(shí)別等諸多領(lǐng)域的交叉學(xué)科。隨著基于統(tǒng)計(jì)學(xué)模型的機(jī)器學(xué)習(xí)的快速發(fā)展,各種淺層機(jī)器學(xué)習(xí)模型相繼被提出。結(jié)合機(jī)器學(xué)習(xí)相關(guān)統(tǒng)計(jì)學(xué)特征的算法使得機(jī)器視覺系統(tǒng)的精度和效率都有了很大提升。近年來,深度學(xué)習(xí)在特征提取方面表現(xiàn)出來的獨(dú)特優(yōu)勢(shì),成為人工智能領(lǐng)域熱門的學(xué)習(xí)方法。其中,卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)是專門用于視覺領(lǐng)域的學(xué)習(xí)方法,極大地推動(dòng)了機(jī)器視覺技術(shù)的發(fā)展。
機(jī)器視覺在農(nóng)業(yè)生產(chǎn)中的應(yīng)用
目前,機(jī)器視覺技術(shù)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究范圍很廣,涉及農(nóng)業(yè)生產(chǎn)的各個(gè)環(huán)節(jié):在農(nóng)業(yè)生產(chǎn)前期,可以利用機(jī)器視覺進(jìn)行農(nóng)作物種子的精選和質(zhì)量檢驗(yàn);在農(nóng)業(yè)生產(chǎn)環(huán)節(jié),機(jī)器視覺可以被用來進(jìn)行作物病蟲害的監(jiān)視、植物生長(zhǎng)信息的監(jiān)測(cè)、果蔬的檢測(cè)等;在農(nóng)業(yè)生產(chǎn)后期的應(yīng)用包括水果分級(jí)、糧食無損檢測(cè)等。機(jī)器視覺也被廣泛應(yīng)用在農(nóng)業(yè)機(jī)械上,可以提高生產(chǎn)效率、節(jié)約勞動(dòng)力、提高農(nóng)業(yè)自動(dòng)化水平。
1)種子質(zhì)量鑒定
農(nóng)作物種子的質(zhì)量是決定農(nóng)作物的最終產(chǎn)量的重要因素,因此類型識(shí)別以及播種前的精選,對(duì)于提高農(nóng)作物產(chǎn)量具有重要意義。傳統(tǒng)的人工分選與檢測(cè)耗時(shí)耗力,工作量大。20世紀(jì)70年代,國(guó)外就已有研究者利用機(jī)器視覺技術(shù)對(duì)獲取的種子圖像進(jìn)行基本的幾何測(cè)量,獲得形狀、長(zhǎng)寬比、面積等參數(shù),進(jìn)而區(qū)分種子的類別。20世紀(jì)80年代后,很多研究者基于獲取的彩色圖像對(duì)種子進(jìn)行品種鑒定和質(zhì)量分級(jí)。近年,許多研究者提出一些創(chuàng)新性算法或者將原有算法結(jié)合,對(duì)于原始獲取的種子圖像進(jìn)行分割和提取。陳兵旗等提出了一種基于圖像處理的棉種精選算法。使用首幀差分閾值分割的方式提取種子區(qū)域的二值圖像,然后在原圖像的種子區(qū)域計(jì)算紅色像素?cái)?shù)并判斷紅色種子,通過分析二值圖像判斷破殼種子,然后對(duì)種子圖像進(jìn)行微分處理并去除邊緣像素判斷裂紋種子。Hong等利用圖像處理技術(shù)結(jié)合K最近鄰(KNN)、支持向量機(jī)(SVM)、隨機(jī)森林(RF)等分類技術(shù)識(shí)別混合樣本中的水稻種子。比較各種分類器的性能,采用隨機(jī)森林方法對(duì)6種不同水稻品種的圖像進(jìn)行采集和分析,其分類系統(tǒng)的平均精度可以達(dá)到百分之90.54。該研究為評(píng)估水稻種子的純度提供了參考。李振等設(shè)計(jì)了一種蔬菜種子活力指數(shù)視覺檢測(cè)系統(tǒng)。首先對(duì)圖像進(jìn)行預(yù)處理,然后將每一個(gè)生長(zhǎng)周期所得圖像與原始未發(fā)芽圖像進(jìn)行像素對(duì)比,通過視覺檢測(cè)系統(tǒng)計(jì)算得到發(fā)芽指數(shù),進(jìn)而得到種子的活力指數(shù)。將系統(tǒng)測(cè)得結(jié)果與人工測(cè)量結(jié)果進(jìn)行比較,準(zhǔn)確率高達(dá)百分之92以上。王僑等提出了玉米種粒圖像動(dòng)態(tài)檢測(cè)方法,根據(jù)種粒圖像RGB顏色特征,提取出種粒區(qū)域及其各顏色區(qū)域,結(jié)合種粒形態(tài)特征建立了周長(zhǎng)、面積等20個(gè)檢測(cè)指標(biāo),并通過測(cè)試統(tǒng)計(jì)確定了其合格范圍,最終據(jù)此分析和完成了頂端露黑色胚部、小型、圓形、蟲蝕破損、霉變等不符合定向播種種粒的判斷。從試驗(yàn)數(shù)據(jù)來看,這些算法具有比較高的識(shí)別率和適用性,可為種子質(zhì)量檢測(cè)分選系統(tǒng)提供一定參考價(jià)值。
利用機(jī)器視覺技術(shù)進(jìn)行種子質(zhì)量檢驗(yàn)的步驟一般包括:圖像采集、特征提取和分類器設(shè)計(jì)。一些研究者在此基礎(chǔ)上開發(fā)了機(jī)械分選裝置,并且建立了種子在線檢測(cè)系統(tǒng)。陳兵旗等設(shè)計(jì)了一種基于機(jī)器視覺的水稻種子精選裝置。裝置主要包括傳送帶、光電觸發(fā)圖像采集系統(tǒng)和圖像處理與分析系統(tǒng),可以檢測(cè)出幾何參數(shù)不合格及霉變的種子。在種子精選過程中,以掃描線上的像素突變次數(shù)來判斷種子的破裂,利用不同的閾值提取稻種的面積差,判斷稻種是否霉變或者破損。檢測(cè)結(jié)果如圖2所示,其中綠色橢圓表示檢測(cè)出的霉變種子,該處理系統(tǒng)可以有效識(shí)別不合格種粒。
20世紀(jì)90年代起,人工神經(jīng)網(wǎng)絡(luò)(artificialneural network,ANN)開始應(yīng)用于農(nóng)作物分類。隨著在全世界范圍內(nèi)掀起的人工神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用熱潮,新的人工神經(jīng)網(wǎng)絡(luò)模型的不斷推出,人工神經(jīng)網(wǎng)絡(luò)對(duì)種子精選與檢測(cè)的精度和效率有了很大提升。Arefi等結(jié)合機(jī)器視覺和人工神經(jīng)網(wǎng)絡(luò)對(duì)4個(gè)小麥品種進(jìn)行鑒定。利用種粒的形態(tài)特征和顏色特征。在ANN的訓(xùn)練階段使用了280幅圖像的11個(gè)特征,利用40幅圖像進(jìn)行驗(yàn)證,并且使用80幅圖像進(jìn)行ANN的測(cè)試。系統(tǒng)整體分類成功率為百分之95.86。李景彬等提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的非線性識(shí)別方法,對(duì)3個(gè)脫絨棉種進(jìn)行識(shí)別檢測(cè),其綜合測(cè)試準(zhǔn)確率為百分之90,證明該方法是可行的,有效地提高了脫絨棉種的識(shí)別準(zhǔn)確率,該研究可為其他粒狀種子品種識(shí)別提供了參考。
2)農(nóng)產(chǎn)品分級(jí)檢測(cè)及性狀測(cè)量
機(jī)器視覺技術(shù)具有準(zhǔn)確、客觀、無損等優(yōu)點(diǎn),在農(nóng)產(chǎn)品的品質(zhì)檢測(cè)和分級(jí)方面有很多研究和應(yīng)用。通過提取農(nóng)產(chǎn)品靜態(tài)圖像中的形態(tài)、顏色等基本特征信息,確定農(nóng)產(chǎn)品的品質(zhì),最后依據(jù)分級(jí)標(biāo)準(zhǔn)進(jìn)行分級(jí)操作。饒秀勤設(shè)計(jì)了水果品質(zhì)檢測(cè)與實(shí)時(shí)分級(jí)系統(tǒng)。利用HSI 顏色模型、主成分分析法、閾值分割等方法對(duì)水果尺寸、形狀、顏色和表面缺陷等品質(zhì)指標(biāo)進(jìn)行提取,進(jìn)行水果的實(shí)時(shí)檢測(cè)和分級(jí)。周竹等根據(jù)馬鈴薯的外形特征,設(shè)計(jì)了基于機(jī)器視覺的馬鈴薯分級(jí)系統(tǒng),對(duì)馬鈴薯按照大、中、小進(jìn)行分級(jí)。同時(shí),以馬鈴薯缺陷面積大小為判別依據(jù),實(shí)現(xiàn)了馬鈴薯缺陷的在線監(jiān)測(cè)。Hasankhani等基于馬鈴薯的尺寸和顏色設(shè)計(jì)了馬鈴薯快速分級(jí)系統(tǒng)。首先對(duì)樣本進(jìn)行預(yù)分級(jí),然后通過分級(jí)系統(tǒng)進(jìn)行健康評(píng)估和分級(jí),對(duì)比兩項(xiàng)數(shù)據(jù)得到總體分級(jí)準(zhǔn)確率為96.823%。Sofu等設(shè)計(jì)了一種蘋果實(shí)時(shí)自動(dòng)分檢和質(zhì)量檢測(cè)系統(tǒng)。通過對(duì)蘋果的4個(gè)不同角度圖像進(jìn)行處理,然后根據(jù)蘋果的顏色、大小、重量和缺陷程度作為分類指標(biāo)對(duì)蘋果進(jìn)行分類,平均每秒可以對(duì)15個(gè)蘋果進(jìn)行檢測(cè)。
對(duì)農(nóng)作物種子的形態(tài)、色澤、紋理等性狀進(jìn)行特征信息的提取與分析,稱為考種。由于考種工作量大而繁瑣、主觀性較強(qiáng)、測(cè)量效率低,一些研究者對(duì)不同種類的種子特性進(jìn)行分析,開發(fā)了基于機(jī)器視覺技術(shù)的考種系統(tǒng)。其中,玉米考種系統(tǒng)是目前工作中常用的儀器。它可以快速準(zhǔn)確地提取玉米種子外形輪廓,進(jìn)而對(duì)果穗長(zhǎng)度、穗行數(shù)、每行粒數(shù)、種穗飽滿度等形態(tài)特征進(jìn)行提取。中國(guó)也有很多果穗性狀無損測(cè)量相關(guān)的研究。王僑等設(shè)計(jì)了一種玉米種穗精選傳輸裝置,可以實(shí)現(xiàn)玉米種穗性狀動(dòng)態(tài)測(cè)量。根據(jù)種穗圖像中種穗的外形特征、黃色籽粒區(qū)域與整個(gè)種穗的面積比、端面矩形度等參數(shù)判斷合格種穗,可以提高大批量種穗分選的效率。劉長(zhǎng)青等提出了一種基于機(jī)器視覺的玉米果穗?yún)?shù)圖像測(cè)量方法。使用攝像頭連續(xù)圖像,經(jīng)過圖像處理,獲得玉米果穗的穗長(zhǎng)和穗寬、每一穗行的穗粒數(shù)和穗行寬度、穗行數(shù),其檢測(cè)裝置如圖3 所示。試驗(yàn)表明,使用該方法的參數(shù)測(cè)量準(zhǔn)確率較高、處理時(shí)間短。該成果可應(yīng)用于玉米千粒質(zhì)量檢測(cè)、產(chǎn)量預(yù)測(cè)育種和品質(zhì)分析等場(chǎng)合,獲得了發(fā)明專利。畢昆等基于機(jī)器視覺技術(shù),研制出一種玉米果穗性狀參數(shù)自動(dòng)檢測(cè)裝置。增加了玉米果穗性狀檢測(cè)裝置的可測(cè)量參數(shù),測(cè)量效率和精度較高。利用機(jī)器視覺提取玉米粒行并統(tǒng)計(jì)籽粒數(shù),該方法效率較高,并且成本低。周金輝等結(jié)合果穗顏色特征及果穗的生物學(xué)規(guī)律,建立玉米果穗的性狀計(jì)算模型,準(zhǔn)確計(jì)算玉米性狀參數(shù)。穗行數(shù)及行粒數(shù)的零誤差率在百分之93以上。
3)準(zhǔn)確播種及播種機(jī)械質(zhì)量檢測(cè)
準(zhǔn)確播種就是利用播種機(jī)控制播種時(shí)的粒距、行距和深度,可以提高糧食產(chǎn)量,有效利用耕地。其中,排種器的性能是影響播種機(jī)播種精度的重要因素,因此排種器的性能檢測(cè)技術(shù)成為很多學(xué)者關(guān)注的熱點(diǎn)。Karayel利用高速攝像機(jī)測(cè)量了排種器排種間距和播種速度。馬旭等對(duì)獲取的種子動(dòng)態(tài)圖像進(jìn)行處理,利用圖像中的種子面積和種子間距檢測(cè)準(zhǔn)確排種器性能。Yazgi等利用棉花種子運(yùn)動(dòng)圖像,研究了排種器的種子間距均勻性性能。趙鄭斌等運(yùn)用機(jī)器視覺技術(shù)對(duì)穴盤準(zhǔn)確播種機(jī)進(jìn)行播種性能檢測(cè),系統(tǒng)的重播率、漏播率檢測(cè)精度較高。秦忠連基于機(jī)器視覺技術(shù),實(shí)現(xiàn)了排種器性能檢測(cè)中的種子粒數(shù)、行距、穴距等基本參數(shù)的自動(dòng)測(cè)量。研究采用了光電觸發(fā)方式采集序列圖像,利用圖像合成算法對(duì)連續(xù)幀圖像進(jìn)行拼接;采用大津法自動(dòng)獲取閾值,對(duì)拼接圖像進(jìn)行閾值分割;提出了基于種子面積的噪聲識(shí)別、種子重疊識(shí)別和種子數(shù)量統(tǒng)計(jì)方法。采用縱向和橫向投影的方法,獲得種子在橫向和縱向的分布情況,從而對(duì)于條播能夠獲得各統(tǒng)計(jì)區(qū)間上的種子粒數(shù)、斷條率等參數(shù);對(duì)于穴播和精播能夠獲得重播率、合格率、漏播率等參數(shù),以此檢測(cè)排種器的性能。
定向播種是在準(zhǔn)確播種技術(shù)要求基礎(chǔ)上,利用作物生長(zhǎng)的規(guī)律性,控制種粒的播種方向。可以使作物葉片有規(guī)律生長(zhǎng),增強(qiáng)田間通風(fēng)效果,實(shí)現(xiàn)合理密植。定向播種首先要對(duì)種粒的特征進(jìn)行提取。寧紀(jì)鋒等利用圖像中玉米頂端特征,開發(fā)相應(yīng)算法進(jìn)行玉米籽粒的頂端和胚部的識(shí)別。劉長(zhǎng)青等研究了玉米種粒動(dòng)態(tài)檢測(cè)算法,并設(shè)計(jì)了玉米的精選和定向定位裝置。通過計(jì)算玉米種子黃色區(qū)域形心點(diǎn)與白色區(qū)域輪廓點(diǎn)的距離,可以確定種粒頂端朝向。通過分析種粒區(qū)域中白色區(qū)域的大小,進(jìn)行玉米種粒胚芽朝向的判斷,為種粒定向包裝和定向播種提供了依據(jù)。王僑等基于機(jī)器視覺技術(shù),針對(duì)適于定向播種的合格玉米種粒,設(shè)計(jì)了一種定向定位擺放裝置。相機(jī)采集圖像傳到系統(tǒng)后,判斷頂端朝向信息,控制調(diào)向分面擺放裝置準(zhǔn)確旋轉(zhuǎn)調(diào)整種粒的朝向,能夠?qū)崿F(xiàn)可控式的、多方位的定向。根據(jù)檢測(cè)到的胚芽正反面的不同,能夠?qū)⒍ㄏ蚍N粒準(zhǔn)確地定位分放在指定的擺放工位上,經(jīng)實(shí)際測(cè)試,定位和檢測(cè)準(zhǔn)確率較高,可以為定向播種的種粒定位提供參考。
農(nóng)作物信息采集與病害檢測(cè)
1)農(nóng)作物病蟲害檢測(cè)
農(nóng)作物在生長(zhǎng)過程中極易遭受病蟲侵害,從而影響最終產(chǎn)量。傳統(tǒng)的大面積施藥不僅浪費(fèi)資源,更容易對(duì)環(huán)境造成污染和破壞。因此,對(duì)作物病蟲害區(qū)域進(jìn)行檢測(cè)和識(shí)別,控制噴藥機(jī)械準(zhǔn)確噴灑,是當(dāng)前機(jī)器視覺在農(nóng)業(yè)應(yīng)用研究的熱點(diǎn)。陳兵旗等研究了小麥病害圖像診斷算法。首先利用小波變換結(jié)合病害紋理特征分析進(jìn)行病害部位的強(qiáng)調(diào),然后通過模態(tài)法自動(dòng)閾值分割,獲得二值圖像,并對(duì)其執(zhí)行膨脹與腐蝕處理,獲得病害部位較完整的修復(fù)圖像。最后將修復(fù)圖像病害部位的二值圖像與原圖像進(jìn)行匹配,獲得結(jié)果圖像原圖像及檢測(cè)結(jié)果圖像(圖4)。獲得檢測(cè)圖像之后,將病害部位特征數(shù)據(jù)與小麥病害種類數(shù)據(jù)庫(kù)比對(duì),進(jìn)行病害類型的判斷。韓瑞珍等設(shè)計(jì)了害蟲遠(yuǎn)程自動(dòng)識(shí)別系統(tǒng),實(shí)現(xiàn)了大田害蟲的快速實(shí)時(shí)識(shí)別。害蟲圖像經(jīng)過分割后,尋找最大連通區(qū)域進(jìn)行去噪處理得到最后的害蟲圖像,提取個(gè)特征值并保存特征值矩陣。利用得到的特征值矩陣對(duì)支持向量機(jī)分類器進(jìn)行訓(xùn)練。最后,利用分類器對(duì)害蟲識(shí)別請(qǐng)求進(jìn)行自動(dòng)分類。該系統(tǒng)可以通過3G無線網(wǎng)絡(luò)將害蟲照片傳輸?shù)街骺仄脚_(tái)實(shí)現(xiàn)遠(yuǎn)程自動(dòng)識(shí)別。張芳開發(fā)了一種病斑圖像的分割算法,算法采用了基于HSI顏色模型實(shí)現(xiàn)農(nóng)作物葉部病斑圖像的分割,利用顏色信息實(shí)現(xiàn)病斑和葉片的分離,根據(jù)亮度信息消除圖像中背景信息的干擾。
2)作物生長(zhǎng)信息監(jiān)測(cè)
作物外部生長(zhǎng)信息包括植物的葉面積、株高、葉片顏色等,通過對(duì)作物生長(zhǎng)信息的監(jiān)測(cè),可以及時(shí)調(diào)整作物培養(yǎng)方案,為作物提供適宜生長(zhǎng)環(huán)境,滿足精細(xì)化農(nóng)業(yè)生產(chǎn)管理的要求。機(jī)器視覺技術(shù)對(duì)作物的生長(zhǎng)檢測(cè)主要是采集作物二維圖像或合成的三維圖像,進(jìn)行定量分析,判斷作物生長(zhǎng)狀況。馬稚昱等采用機(jī)器視覺及圖像處理技術(shù)對(duì)多株菊花生長(zhǎng)信息進(jìn)行了監(jiān)測(cè)研究。實(shí)驗(yàn)過程中,采用了一種基于亞像素和區(qū)域匹配的誤差消除估計(jì)算法,有效地提高了檢測(cè)精度。檢測(cè)系統(tǒng)采用CCD 相機(jī)對(duì)旋轉(zhuǎn)云臺(tái)上的植株進(jìn)行定時(shí)取像,對(duì)菊花的莖長(zhǎng)生長(zhǎng)進(jìn)行了分析,實(shí)現(xiàn)無接觸的植物生長(zhǎng)監(jiān)測(cè)。作物的二維圖像視覺監(jiān)測(cè)系統(tǒng)雖然具有較好的處理性能,但由于植物多數(shù)具有復(fù)雜的冠層形狀,很難從重疊的植物冠層分離單個(gè)植株,并且葉片及植株具有不同的顏色和紋理,所以會(huì)產(chǎn)生大量的計(jì)算數(shù)據(jù)。陳兵旗等以大田間的玉米植株為研究對(duì)象,利用雙目立體視覺技術(shù)對(duì)其進(jìn)行動(dòng)態(tài)監(jiān)測(cè)與三維建模,監(jiān)測(cè)裝置如圖5所示。首先獲取左右視覺圖像,利用大津法對(duì)測(cè)量區(qū)域內(nèi)的作物進(jìn)行二值化提取。通過對(duì)測(cè)量區(qū)域進(jìn)行網(wǎng)格分割,推算作物覆蓋面積。利用左右視覺圖像視差進(jìn)行三維重建,獲得白色目標(biāo)像素的形心點(diǎn)云的三維坐標(biāo)和平均株高。最后利用OpenGL實(shí)現(xiàn)了玉米生長(zhǎng)過程的三維可視化顯示,圖6分別表示了3個(gè)不同生長(zhǎng)時(shí)期的玉米三維建模結(jié)果,三維測(cè)量的株高設(shè)定為模型主莖的高度,葉片數(shù)、葉片參數(shù)、主莖直徑等參數(shù)根據(jù)其生長(zhǎng)規(guī)律自動(dòng)生成。該研究對(duì)玉米的葉片和主莖進(jìn)行建模,能夠直觀地觀察作物的生長(zhǎng)和發(fā)育過程。該研究方法同樣可以應(yīng)用于作物的產(chǎn)量預(yù)測(cè),通過對(duì)玉米穗等其他植株器官進(jìn)行建模,模擬玉米抽穗之后的生長(zhǎng)過程,從而獲取玉米果穗生長(zhǎng)信息,進(jìn)行玉米的產(chǎn)量預(yù)測(cè)。Jin等開發(fā)了實(shí)時(shí)立體視覺系統(tǒng)對(duì)玉米植株進(jìn)行檢測(cè),獲得玉米植物冠層的視圖。通過實(shí)時(shí)圖像處理算法,有效地分離出單個(gè)玉米植株并檢測(cè)了它們的中心位置。在多個(gè)生長(zhǎng)階段的玉米植物上測(cè)試了立體視覺系統(tǒng)。結(jié)果表明系統(tǒng)在室外照明條件下處理纏繞的植物冠層方面表現(xiàn)出優(yōu)異的性能。
3)果蔬的檢測(cè)及采摘
果蔬的采摘工作耗時(shí)耗力且人工成本較高,由于機(jī)器視覺可以完成形狀和顏色識(shí)別相關(guān)工作,因此結(jié)合機(jī)器視覺的自動(dòng)采摘設(shè)備具有很廣闊的發(fā)展前景。Liu等研究了自然環(huán)境下桃子果實(shí)的自動(dòng)識(shí)別算法。以色差R-G的平均值作為閾值提取桃子紅色區(qū)域,然后進(jìn)行匹配擴(kuò)展以識(shí)別整個(gè)區(qū)域。通過輪廓上線的垂直平分線的交點(diǎn),得到擬合圓的潛在中心點(diǎn)。最后,通過計(jì)算潛在中心點(diǎn)的統(tǒng)計(jì)參數(shù),得到擬合圓的中心點(diǎn)和半徑。算法的環(huán)境適應(yīng)性較高,可以識(shí)別單個(gè)果實(shí)、彼此接觸的果實(shí)、被遮擋的果實(shí),且識(shí)別準(zhǔn)確率高。圖7為采集的果樹上桃子彩色原圖像(圖上圓圈為最終擬合結(jié)果),(a)為順光拍攝,光照強(qiáng),果實(shí)單個(gè)生長(zhǎng),有樹葉遮擋,背景主要為樹葉;(b)為弱光照、相機(jī)自動(dòng)補(bǔ)光拍攝,果實(shí)相互接觸,無遮擋,背景主要為樹葉;(c)為逆光拍攝,圖像中既有單個(gè)果實(shí)又存在果實(shí)相互接觸,且果實(shí)被樹葉部分遮擋,背景主要為枝葉和直射陽光。由檢測(cè)結(jié)果可知,該算法具有很好的擬合效果。Silwal等在機(jī)器視覺系統(tǒng)中,使用迭代圓形Hough變換(CHT)檢測(cè)清晰可見的蘋果。對(duì)圖像中相同像素的連通域進(jìn)行分析,檢測(cè)部分遮擋的蘋果,通過顏色分析鑒定潛在的果實(shí)。最后通過試驗(yàn)證明了連通域分析和CHT的融合算法可以顯著提高檢測(cè)精度。趙曉霞等研究了桃子圖像的圖像分割方法。利用RGB 模型和HSI模型分別對(duì)彩色圖像進(jìn)行了3種方法的灰度化處理。然后采用最大類間方差法對(duì)圖像進(jìn)行二值化處理,結(jié)合去噪和匹配膨脹的算法可以對(duì)自然環(huán)境下的桃子果實(shí)圖像進(jìn)行有效的分割。司永勝等提出了利用歸一化的紅綠色差分割蘋果的方法,隨后采用隨機(jī)圓環(huán)法對(duì)蘋果輪廓圖像進(jìn)行果實(shí)圓心和半徑的提取。彭輝等采用雙目立體視覺系統(tǒng)解決了重疊果實(shí)的分割問題,提出了基于視差圖像的果實(shí)分割算法,可以有效地分割相互遮擋的果實(shí),具有較強(qiáng)的魯棒性。Linker等提出了一種在自然光照條件下蘋果彩色圖像計(jì)數(shù)的算法,可以有效估計(jì)果園產(chǎn)量,進(jìn)行果園管理決策。
圖7 彩色原圖像上的擬合結(jié)果
農(nóng)田視覺導(dǎo)航
1)導(dǎo)路線檢測(cè)
農(nóng)業(yè)車輛自動(dòng)導(dǎo)航是當(dāng)前和未來農(nóng)業(yè)智能化研究的熱點(diǎn),基于機(jī)器視覺的導(dǎo)航路線檢測(cè)算法是自動(dòng)導(dǎo)航系統(tǒng)的核心。早在20世紀(jì)70年代就有研究者提出視覺導(dǎo)航的概念,在20世紀(jì)90年代,很多國(guó)家開始對(duì)農(nóng)田視覺導(dǎo)航技術(shù)進(jìn)行研究,提出了雜草檢測(cè)、導(dǎo)航路線檢測(cè)的方法。中國(guó)隨后也開始進(jìn)行相關(guān)的研究。對(duì)于農(nóng)田導(dǎo)航路線檢測(cè),車輛或機(jī)器人工作環(huán)境主要分為水田和旱田,水田中的導(dǎo)航路線檢測(cè)的重點(diǎn)是苗列線檢測(cè),陳兵旗對(duì)插秧機(jī)器人視覺系統(tǒng)進(jìn)行了研究,提出了基于圖像處理和Hough變換的目標(biāo)苗列線檢測(cè),土田埂及水泥田埂的檢測(cè)。隨后,又研究了水田自動(dòng)管理機(jī)器的行駛路線檢測(cè)算法。首先以圖像中的顏色分布來判斷稻谷之間的空間作為行進(jìn)路線,然后通過對(duì)水平線輪廓線的分析,檢測(cè)出其運(yùn)動(dòng)方向的候選點(diǎn),最后通過已知的點(diǎn)Hough變換檢測(cè)移動(dòng)方向線。其檢測(cè)結(jié)果如圖8所示,圖中紅線表示檢測(cè)出的水田的導(dǎo)航路線,視覺系統(tǒng)根據(jù)紅色導(dǎo)航線控制機(jī)器的行進(jìn)方向,可以穩(wěn)定行駛。該算法檢測(cè)速度快、適應(yīng)性強(qiáng),對(duì)于復(fù)雜水田也可以有效提取導(dǎo)航路線。毛可駿等研究了基于機(jī)器視覺的自主插秧機(jī)導(dǎo)航信息的提取,提出了一種利用秧苗行分割線作為基準(zhǔn)線提取導(dǎo)航參數(shù)的算法。Han等提出了基于圖像分割的車輛導(dǎo)航算法,首先將彩色圖像轉(zhuǎn)換成灰度圖像,然后計(jì)算出每個(gè)像素的標(biāo)準(zhǔn)偏差,將平均值和偏差值進(jìn)行融合,作為支持向量機(jī)分割圖像的新輸入因子。最后對(duì)小波分析得到的低分辨率圖像進(jìn)行了處理,分割的結(jié)果克服了雜草等高頻干擾的影響。張方明等研究了水田作業(yè)輪式自動(dòng)農(nóng)業(yè)機(jī)器人的路徑規(guī)劃方法,設(shè)計(jì)了矩形田塊和梯形田塊的自動(dòng)插秧機(jī)路徑規(guī)劃方法。
圖8 水田導(dǎo)航路線檢測(cè)
旱田中的導(dǎo)航路線一般是地壟或者已作業(yè)區(qū)域和未作業(yè)區(qū)域的分界線。趙穎等研究了基于機(jī)器視覺的耕作機(jī)器人行走目標(biāo)直線檢測(cè),提出了犁溝線斜率的檢測(cè)算法和基于掃描線的圖像分割方法,首先用安裝在拖拉機(jī)前方的攝像機(jī)采集圖像,然后根據(jù)已耕作區(qū)域、未耕作區(qū)域和非農(nóng)田區(qū)域的特征,分析田端和犁溝線位置和方向候補(bǔ)點(diǎn)群,最后使用基于一點(diǎn)的改進(jìn)Hough變換算法計(jì)算犁溝線的斜率。旱田導(dǎo)航路線檢測(cè)結(jié)果如圖9所示,其中,紅色十字表示檢測(cè)出的已知點(diǎn),黃色直線表示旱田的導(dǎo)航路線,由檢測(cè)結(jié)果可以看出,該算法在靜態(tài)圖像(a)和動(dòng)態(tài)圖像(b)中都可以準(zhǔn)確地檢測(cè)出導(dǎo)航線。李景彬等研究了采棉機(jī)和棉花鋪膜播種機(jī)田間作業(yè)導(dǎo)航路線和田端的圖像檢測(cè)方法,提出了檢測(cè)采棉機(jī)田間作業(yè)路徑算法,首先針對(duì)不同區(qū)域的目標(biāo)特征進(jìn)行提取,然后利用小波變換、線性分析和前后幀相關(guān)聯(lián)等方法,確定直線變換候補(bǔ)點(diǎn)群,最后用過已知點(diǎn)的Hough變換對(duì)候選點(diǎn)進(jìn)行線性擬合。
2)農(nóng)田障礙物檢測(cè)
在農(nóng)用車輛自動(dòng)駕駛的研究中,農(nóng)田障礙物的檢測(cè)也是很重要的研究?jī)?nèi)容。機(jī)器視覺系統(tǒng)檢測(cè)到障礙物后控制執(zhí)行機(jī)構(gòu)進(jìn)行制動(dòng)或者警告,對(duì)于實(shí)現(xiàn)無人駕駛或者車輛輔助駕駛都具有非常重要的意義。張磊等提出了一種基于雙目視覺的農(nóng)田障礙物檢測(cè)方法。首先,利用基于掃描線的目標(biāo)提取方法進(jìn)行目標(biāo)提取,然后進(jìn)行立體視覺匹配計(jì)算解出障礙物型心空間坐標(biāo),進(jìn)而確定障礙物的位置。茍琴等研究了基于視差圖的未知環(huán)境下農(nóng)田障礙物檢測(cè)方法,首先用攝像頭采集左右場(chǎng)景圖并計(jì)算其視差圖,然后通過視察閾值獲得潛在障礙物,最終通過面積閾值和高度閾值對(duì)障礙物定位。李權(quán)利用雙目視覺結(jié)合最大類間方差法提取障礙物,采用SURF(speeded uprobust features)算法檢測(cè)特征點(diǎn),并進(jìn)行深度信息計(jì)算。Cherubini等提出了一個(gè)基于傳感器的視覺導(dǎo)航框架,可以保證避障和導(dǎo)航同時(shí)完成,即使存在視覺遮擋,機(jī)器人也可以避免碰撞。這些研究均具有一定可行性,為實(shí)現(xiàn)農(nóng)用車輛無人駕駛提供了參考依據(jù)。
3)農(nóng)田視覺導(dǎo)航系統(tǒng)集成
與公路導(dǎo)航相比,農(nóng)田導(dǎo)航目標(biāo)的識(shí)別更復(fù)雜,但是農(nóng)田導(dǎo)航不需要特別關(guān)注周圍環(huán)境,所以農(nóng)用視覺導(dǎo)航系統(tǒng)更容易推廣使用。國(guó)內(nèi)外很多研究者將視覺導(dǎo)航系統(tǒng)和控制系統(tǒng)、機(jī)械裝置結(jié)合,設(shè)計(jì)了自動(dòng)駕駛系統(tǒng)。自動(dòng)駕駛的農(nóng)用車輛裝配農(nóng)田作業(yè)機(jī)械進(jìn)行農(nóng)藥的噴灑、農(nóng)作物收獲等大規(guī)模作業(yè),可以大幅度提高工作質(zhì)量、節(jié)約勞動(dòng)力。Hanawa等開發(fā)了農(nóng)用拖拉機(jī)的立體視覺導(dǎo)航系統(tǒng),對(duì)兩個(gè)相機(jī)采集的圖像進(jìn)行處理,可以檢測(cè)農(nóng)作物行、人為標(biāo)記、非耕作區(qū)域。將檢測(cè)到的作物位置數(shù)據(jù)傳送到拖拉機(jī)轉(zhuǎn)向控制器,可以完成拖拉機(jī)的自動(dòng)耕作。English等對(duì)農(nóng)田的平行和側(cè)向偏移結(jié)構(gòu),比如作物行或者犁溝線,結(jié)合顏色、間距、結(jié)構(gòu)性進(jìn)行分析,利用C++和OpenCV實(shí)現(xiàn)從拍攝的俯視圖中提取導(dǎo)航線。采用多用途車搭載視覺導(dǎo)航系統(tǒng)和GPS系統(tǒng),完成了自動(dòng)導(dǎo)航。陳兵旗等研究了農(nóng)用拖拉機(jī)田間視覺導(dǎo)航系統(tǒng)。利用結(jié)合傳感器與機(jī)器視覺技術(shù)進(jìn)行信號(hào)的采集與處理,通過機(jī)械裝置控制方向盤轉(zhuǎn)動(dòng),可以實(shí)現(xiàn)拖拉機(jī)的無人駕駛。原型樣機(jī)如圖10所示,(a)為機(jī)器視覺導(dǎo)航系統(tǒng)組成,包括攝像頭、計(jì)算機(jī)處理系統(tǒng)、轉(zhuǎn)向控制系統(tǒng)等;(b)為轉(zhuǎn)向控制系統(tǒng),通過對(duì)方向盤的轉(zhuǎn)向控制,實(shí)現(xiàn)模擬人工駕駛。通過性能測(cè)試,其導(dǎo)航精度遠(yuǎn)高于GNSS(全球衛(wèi)星導(dǎo)航系統(tǒng))的定位精度。
圖10 視覺導(dǎo)航系統(tǒng)樣機(jī)示意
存在問題及未來展望
機(jī)器視覺技術(shù)在農(nóng)產(chǎn)品無損檢測(cè)、植物生長(zhǎng)信息檢測(cè)、病蟲害檢測(cè)、農(nóng)田視覺導(dǎo)航等方面的研究已有很大進(jìn)步,但是由于農(nóng)業(yè)研究對(duì)象的多樣性和復(fù)雜性以及機(jī)器視覺技術(shù)自身的特點(diǎn),機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用仍存在如下問題。
1)機(jī)器視覺技術(shù)對(duì)測(cè)量條件和環(huán)境要求較高,但是農(nóng)業(yè)生產(chǎn)環(huán)境復(fù)雜,應(yīng)用場(chǎng)合多變,針對(duì)不同的研究對(duì)象和生產(chǎn)環(huán)境需要開發(fā)不同的處理算法,使得機(jī)器視覺測(cè)量的環(huán)境適應(yīng)性和可靠性較差。
2)由于農(nóng)作物特征的多樣化,機(jī)器視覺在農(nóng)作物信息檢測(cè)和特征提取方面還存在一些不足。對(duì)于一些顏色或形狀特征不明顯作物的檢測(cè)還需要研究更高精度的檢測(cè)算法。
3)目前包含末端執(zhí)行機(jī)構(gòu)的機(jī)器視覺系統(tǒng)還不成熟,未能進(jìn)行大規(guī)模的農(nóng)業(yè)生產(chǎn)應(yīng)用。并且,由于機(jī)械控制系統(tǒng)存在的局限性,導(dǎo)致機(jī)器視覺在某些實(shí)時(shí)性要求較高的場(chǎng)合仍然達(dá)不到要求。
4)當(dāng)前基于機(jī)器視覺的農(nóng)業(yè)裝備集成化和智能化程度不高,操作復(fù)雜。國(guó)內(nèi)外很多對(duì)于農(nóng)業(yè)生產(chǎn)的機(jī)器視覺應(yīng)用研究仍處于試驗(yàn)階段,農(nóng)業(yè)智能裝備的大規(guī)模應(yīng)用還需要克服很多實(shí)際問題。
由于問題的復(fù)雜性和長(zhǎng)期性,機(jī)器視覺系統(tǒng)在農(nóng)業(yè)領(lǐng)域的應(yīng)用還要經(jīng)歷一段很長(zhǎng)的發(fā)展階段,其未來的研究和發(fā)展方向主要集中在以下方面。
1)圖像處理是機(jī)器視覺技術(shù)的核心,對(duì)現(xiàn)有的算法進(jìn)行改進(jìn)或者研究出更為有效的算法,提高機(jī)器視覺系統(tǒng)的處理效率和魯棒性,仍然是未來機(jī)器視覺應(yīng)用和發(fā)展的重要前提。當(dāng)前,基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法正處于研究階段,訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)可以極大提高圖像識(shí)別的準(zhǔn)確性,應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型的機(jī)器視覺系統(tǒng)將成為未來發(fā)展趨勢(shì)。
2)嵌入式視覺系統(tǒng)具有結(jié)構(gòu)緊湊、處理速度快、成本低等特點(diǎn),成為未來機(jī)器視覺系統(tǒng)發(fā)展的重要方向。也使得結(jié)合機(jī)器視覺系統(tǒng)的農(nóng)機(jī)裝備的大規(guī)模普及成為可能。
3)融合多種技術(shù)的機(jī)器視覺系統(tǒng)也是當(dāng)前及未來研究熱點(diǎn)。例如,融合機(jī)器視覺系統(tǒng)和北斗導(dǎo)航系統(tǒng),可以實(shí)現(xiàn)農(nóng)田導(dǎo)航系統(tǒng)的高精度和低成本;融合三維成像技術(shù)、神經(jīng)網(wǎng)絡(luò)技術(shù)、智能控制技術(shù)等,可以使農(nóng)田作業(yè)機(jī)器人更加智能化。
結(jié) 論
機(jī)器視覺技術(shù)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究范圍很廣,涉及農(nóng)業(yè)生產(chǎn)的各個(gè)環(huán)節(jié)。在農(nóng)作物種子的精選和質(zhì)量檢驗(yàn)、作物病蟲害的監(jiān)視、植物生長(zhǎng)信息的監(jiān)測(cè)、果蔬的檢測(cè)、水果分級(jí)、糧食的無損檢測(cè)及農(nóng)業(yè)機(jī)械上都起著很重要的作用。機(jī)器視覺技術(shù)以其自有的優(yōu)勢(shì),對(duì)實(shí)現(xiàn)農(nóng)業(yè)的高度自動(dòng)化和智能化有重要推動(dòng)意義。目前,中國(guó)的機(jī)器視覺農(nóng)機(jī)裝備相比于國(guó)外仍有一些差距,精度及自動(dòng)化水平較低,實(shí)際應(yīng)用也存在可靠性問題,說明中國(guó)的農(nóng)業(yè)智能化發(fā)展還有很長(zhǎng)的一段路要走。當(dāng)然,機(jī)器視覺技術(shù)本身的局限性和農(nóng)業(yè)應(yīng)用的復(fù)雜性也限制了機(jī)器視覺裝備的大規(guī)模推廣和使用。當(dāng)前機(jī)器視覺技術(shù)仍處于高速發(fā)展階段,隨著現(xiàn)代智能化及相關(guān)技術(shù)的發(fā)展,機(jī)器視覺技術(shù)也將不斷完善,現(xiàn)階段的很多問題會(huì)得到解決,機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用也將進(jìn)一步擴(kuò)展。
本文作者:陳兵旗,吳召恒,李紅業(yè),王進(jìn)
作者簡(jiǎn)介:陳兵旗,中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院,教授,研究方向?yàn)閳D像處理。、
來源:科技導(dǎo)報(bào)