機器視覺技術是運用光學設備獲取真實圖像,通過圖像處理技術進行圖像分析獲取所需信息或控制機械執(zhí)行裝置完成預設操作的一種非接觸式測量技術,可以對目標物體的外形特征、位移尺寸等幾何量進行實時、在線檢測,具有準確可靠、高精度、高效率等優(yōu)點,廣泛應用于工業(yè)、農(nóng)業(yè)、制造業(yè)、交通業(yè)、航空航天等領域。
機器視覺技術在農(nóng)業(yè)領域的應用研究起始于20世紀70年代,主要集中在植物種類的鑒別、農(nóng)產(chǎn)品品質檢測等方面,初期的研究多數(shù)是對機器視覺在農(nóng)業(yè)應用的可行性分析及圖像處理算法的開發(fā)。隨著計算機軟硬件、圖像采集處理裝置、圖像處理技術的迅猛發(fā)展,機器視覺技術在農(nóng)業(yè)的應用領域不斷擴展。目前,美國、日本、德國等發(fā)達國家已經(jīng)開始將機器視覺系統(tǒng)應用到農(nóng)業(yè)生產(chǎn)的各個階段,以解決人口老齡化加劇、勞動力缺失等問題引起的挑戰(zhàn)。
中國的相關研究,多數(shù)仍處于試驗階段,但隨著國家的政策支持和經(jīng)濟投入,也取得一定研究成果;機器視覺技術在農(nóng)業(yè)領域主要應用于農(nóng)產(chǎn)品質量分級和無損檢測、作物信息監(jiān)測等?;跈C器視覺的農(nóng)業(yè)裝備可以極大提高生產(chǎn)效率,實現(xiàn)農(nóng)業(yè)生產(chǎn)的智能化。隨著智能駕駛的興起,農(nóng)田車輛導航成為當前研究熱點,搭載機器視覺系統(tǒng)的智能農(nóng)業(yè)機械也廣泛地應用在農(nóng)業(yè)生產(chǎn)中。中國正處于傳統(tǒng)農(nóng)業(yè)向現(xiàn)代農(nóng)業(yè)的過渡期,融合各種現(xiàn)代化智能技術的農(nóng)業(yè)將成為未來發(fā)展趨勢。機器視覺技術在農(nóng)業(yè)生產(chǎn)的應用可以節(jié)約勞動力、帶動產(chǎn)業(yè)升級、推動農(nóng)業(yè)現(xiàn)代化的發(fā)展進程,對未來農(nóng)業(yè)的智能化發(fā)展有重要意義。
機器視覺技術概述
機器視覺系統(tǒng)一般包括光源系統(tǒng)、圖像捕捉系統(tǒng)、圖像數(shù)字化模塊、圖像處理系統(tǒng)和控制執(zhí)行模塊(圖1)。首先采用CCD(CMOS)攝像機獲取圖像,經(jīng)采樣量化后將模擬圖像轉換為數(shù)字影像或數(shù)字信號傳送到圖像處理系統(tǒng)。圖像處理系統(tǒng)對這些信號運用各種運算進行目標特征的提取,如目標的顏色、位置、大小等,最后根據(jù)預設的判定標準輸出所需結果、顯示數(shù)據(jù)或控制執(zhí)行模塊完成預定操作。
現(xiàn)在機器視覺技術已經(jīng)發(fā)展成為一門涉及人工智能、神經(jīng)生物學、心理物理學、計算機科學、圖像處理、模式識別等諸多領域的交叉學科。隨著基于統(tǒng)計學模型的機器學習的快速發(fā)展,各種淺層機器學習模型相繼被提出。結合機器學習相關統(tǒng)計學特征的算法使得機器視覺系統(tǒng)的精度和效率都有了很大提升。近年來,深度學習在特征提取方面表現(xiàn)出來的獨特優(yōu)勢,成為人工智能領域最熱門的學習方法。其中,卷積神經(jīng)網(wǎng)絡模型(CNN)是專門用于視覺領域的學習方法,極大地推動了機器視覺技術的發(fā)展。
機器視覺在農(nóng)業(yè)生產(chǎn)中的應用
目前,機器視覺技術在農(nóng)業(yè)生產(chǎn)中的應用研究范圍很廣,涉及農(nóng)業(yè)生產(chǎn)的各個環(huán)節(jié):在農(nóng)業(yè)生產(chǎn)前期,可以利用機器視覺進行農(nóng)作物種子的精選和質量檢驗;在農(nóng)業(yè)生產(chǎn)環(huán)節(jié),機器視覺可以被用來進行作物病蟲害的監(jiān)視、植物生長信息的監(jiān)測、果蔬的檢測等;在農(nóng)業(yè)生產(chǎn)后期的應用包括水果分級、糧食無損檢測等。機器視覺也被廣泛應用在農(nóng)業(yè)機械上,可以提高生產(chǎn)效率、節(jié)約勞動力、提高農(nóng)業(yè)自動化水平。
1)種子質量鑒定
農(nóng)作物種子的質量是決定農(nóng)作物的最終產(chǎn)量的重要因素,因此類型識別以及播種前的精選,對于提高農(nóng)作物產(chǎn)量具有重要意義。傳統(tǒng)的人工分選與檢測耗時耗力,工作量大。20世紀70年代,國外就已有研究者利用機器視覺技術對獲取的種子圖像進行基本的幾何測量,獲得形狀、長寬比、面積等參數(shù),進而區(qū)分種子的類別。20世紀80年代后,很多研究者基于獲取的彩色圖像對種子進行品種鑒定和質量分級。近年,許多研究者提出一些創(chuàng)新性算法或者將原有算法結合,對于原始獲取的種子圖像進行分割和提取。陳兵旗等提出了一種基于圖像處理的棉種精選算法。使用首幀差分閾值分割的方式提取種子區(qū)域的二值圖像,然后在原圖像的種子區(qū)域計算紅色像素數(shù)并判斷紅色種子,通過分析二值圖像判斷破殼種子,最后對種子圖像進行微分處理并去除邊緣像素判斷裂紋種子。Hong等利用圖像處理技術結合K最近鄰(KNN)、支持向量機(SVM)、隨機森林(RF)等分類技術識別混合樣本中的水稻種子。比較各種分類器的性能,采用隨機森林方法對6種不同水稻品種的圖像進行采集和分析,其分類系統(tǒng)的平均精度可以達到90.54%。該研究為評估水稻種子的純度提供了參考。李振等設計了一種蔬菜種子活力指數(shù)視覺檢測系統(tǒng)。首先對圖像進行預處理,然后將每一個生長周期所得圖像與原始未發(fā)芽圖像進行像素對比,通過視覺檢測系統(tǒng)計算得到發(fā)芽指數(shù),進而得到種子的活力指數(shù)。將系統(tǒng)測得結果與人工測量結果進行比較,準確率高達92%以上。王僑等提出了玉米種粒圖像動態(tài)檢測方法,根據(jù)種粒圖像RGB顏色特征,提取出種粒區(qū)域及其各顏色區(qū)域,結合種粒形態(tài)特征建立了周長、面積等20個檢測指標,并通過測試統(tǒng)計確定了其合格范圍,最終據(jù)此分析和完成了尖端露黑色胚部、小型、圓形、蟲蝕破損、霉變等不符合定向播種種粒的判斷。從試驗數(shù)據(jù)來看,這些算法具有比較高的識別率和適用性,可為種子質量檢測分選系統(tǒng)提供一定參考價值。
利用機器視覺技術進行種子質量檢驗的步驟一般包括:圖像采集、特征提取和分類器設計。一些研究者在此基礎上開發(fā)了機械分選裝置,并且建立了種子在線檢測系統(tǒng)。陳兵旗等設計了一種基于機器視覺的水稻種子精選裝置。裝置主要包括傳送帶、光電觸發(fā)圖像采集系統(tǒng)和圖像處理與分析系統(tǒng),可以檢測出幾何參數(shù)不合格及霉變的種子。在種子精選過程中,以掃描線上的像素突變次數(shù)來判斷種子的破裂,利用不同的閾值提取稻種的面積差,判斷稻種是否霉變或者破損。檢測結果如圖2所示,其中綠色橢圓表示檢測出的霉變種子,該處理系統(tǒng)可以有效識別不合格種粒。
20世紀90年代起,人工神經(jīng)網(wǎng)絡(artificialneural network,ANN)開始應用于農(nóng)作物分類。隨著在全世界范圍內(nèi)掀起的人工神經(jīng)網(wǎng)絡的研究和應用熱潮,新的人工神經(jīng)網(wǎng)絡模型的不斷推出,人工神經(jīng)網(wǎng)絡對種子精選與檢測的精度和效率有了很大提升。Arefi等結合機器視覺和人工神經(jīng)網(wǎng)絡對4個小麥品種進行鑒定。利用種粒的形態(tài)特征和顏色特征。在ANN的訓練階段使用了280幅圖像的11個特征,利用40幅圖像進行驗證,并且使用80幅圖像進行ANN的測試。系統(tǒng)整體分類成功率為95.86%。李景彬等提出了一種基于BP神經(jīng)網(wǎng)絡的非線性識別方法,對3個脫絨棉種進行識別檢測,其綜合測試準確率為90%,證明該方法是可行的,有效地提高了脫絨棉種的識別準確率,該研究可為其他粒狀種子品種識別提供了參考。
2)農(nóng)產(chǎn)品分級檢測及性狀測量
機器視覺技術具有準確、客觀、無損等優(yōu)點,在農(nóng)產(chǎn)品的品質檢測和分級方面有很多研究和應用。通過提取農(nóng)產(chǎn)品靜態(tài)圖像中的形態(tài)、顏色等基本特征信息,確定農(nóng)產(chǎn)品的品質,最后依據(jù)分級標準進行分級操作。饒秀勤設計了水果品質檢測與實時分級系統(tǒng)。利用HSI 顏色模型、主成分分析法、閾值分割等方法對水果尺寸、形狀、顏色和表面缺陷等品質指標進行提取,進行水果的實時檢測和分級。周竹等根據(jù)馬鈴薯的外形特征,設計了基于機器視覺的馬鈴薯分級系統(tǒng),對馬鈴薯按照大、中、小進行分級。同時,以馬鈴薯缺陷面積大小為判別依據(jù),實現(xiàn)了馬鈴薯缺陷的在線監(jiān)測。Hasankhani等基于馬鈴薯的尺寸和顏色設計了馬鈴薯快速分級系統(tǒng)。首先對樣本進行預分級,然后通過分級系統(tǒng)進行健康評估和分級,對比兩項數(shù)據(jù)得到總體分級準確率為96.823%。Sofu等設計了一種蘋果實時自動分檢和質量檢測系統(tǒng)。通過對蘋果的4個不同角度圖像進行處理,然后根據(jù)蘋果的顏色、大小、重量和缺陷程度作為分類指標對蘋果進行分類,平均每秒可以對15個蘋果進行檢測。
對農(nóng)作物種子的形態(tài)、色澤、紋理等性狀進行特征信息的提取與分析,稱為考種。由于考種工作量大而繁瑣、主觀性較強、測量效率低,一些研究者對不同種類的種子特性進行分析,開發(fā)了基于機器視覺技術的考種系統(tǒng)。其中,玉米考種系統(tǒng)是目前工作中常用的儀器。它可以快速準確地提取玉米種子外形輪廓,進而對果穗長度、穗行數(shù)、每行粒數(shù)、種穗飽滿度等形態(tài)特征進行提取。中國也有很多果穗性狀無損測量相關的研究。王僑等設計了一種玉米種穗精選傳輸裝置,可以實現(xiàn)玉米種穗性狀動態(tài)測量。根據(jù)種穗圖像中種穗的外形特征、黃色籽粒區(qū)域與整個種穗的面積比、端面矩形度等參數(shù)判斷合格種穗,可以提高大批量種穗分選的效率。劉長青等提出了一種基于機器視覺的玉米果穗?yún)?shù)圖像測量方法。使用攝像頭連續(xù)圖像,經(jīng)過圖像處理,獲得玉米果穗的穗長和穗寬、每一穗行的穗粒數(shù)和穗行寬度、穗行數(shù),其檢測裝置如圖3 所示。試驗表明,使用該方法的參數(shù)測量準確率較高、處理時間短。該成果可應用于玉米千粒質量檢測、產(chǎn)量預測育種和品質分析等場合,獲得了發(fā)明專利。畢昆等基于機器視覺技術,研制出一種玉米果穗性狀參數(shù)自動檢測裝置。增加了玉米果穗性狀檢測裝置的可測量參數(shù),測量效率和精度較高。利用機器視覺提取玉米粒行并統(tǒng)計籽粒數(shù),該方法效率較高,并且成本低。周金輝等結合果穗顏色特征及果穗的生物學規(guī)律,建立玉米果穗的性狀計算模型,精確計算玉米性狀參數(shù)。穗行數(shù)及行粒數(shù)的零誤差率在93%以上。
3)精密播種及播種機械質量檢測
精密播種就是利用播種機控制播種時的粒距、行距和深度,可以提高糧食產(chǎn)量,有效利用耕地。其中,排種器的性能是影響播種機播種精度的重要因素,因此排種器的性能檢測技術成為很多學者關注的熱點。Karayel利用高速攝像機測量了排種器排種間距和播種速度。馬旭等對獲取的種子動態(tài)圖像進行處理,利用圖像中的種子面積和種子間距檢測精密排種器性能。Yazgi等利用棉花種子運動圖像,研究了排種器的種子間距均勻性性能。趙鄭斌等運用機器視覺技術對穴盤精密播種機進行播種性能檢測,系統(tǒng)的重播率、漏播率檢測精度較高。秦忠連基于機器視覺技術,實現(xiàn)了排種器性能檢測中的種子粒數(shù)、行距、穴距等基本參數(shù)的自動測量。研究采用了光電觸發(fā)方式采集序列圖像,利用圖像合成算法對連續(xù)幀圖像進行拼接;采用大津法自動獲取閾值,對拼接圖像進行閾值分割;提出了基于種子面積的噪聲識別、種子重疊識別和種子數(shù)量統(tǒng)計方法。采用縱向和橫向投影的方法,獲得種子在橫向和縱向的分布情況,從而對于條播能夠獲得各統(tǒng)計區(qū)間上的種子粒數(shù)、斷條率等參數(shù);對于穴播和精播能夠獲得重播率、合格率、漏播率等參數(shù),以此檢測排種器的性能。
定向播種是在精密播種技術要求基礎上,利用作物生長的規(guī)律性,控制種粒的播種方向。可以使作物葉片有規(guī)律生長,增強田間通風效果,實現(xiàn)合理密植。定向播種首先要對種粒的特征進行提取。寧紀鋒等利用圖像中玉米尖端特征,開發(fā)相應算法進行玉米籽粒的尖端和胚部的識別。劉長青等研究了玉米種粒動態(tài)檢測算法,并設計了玉米的精選和定向定位裝置。通過計算玉米種子黃色區(qū)域形心點與白色區(qū)域輪廓點的距離,可以確定種粒尖端朝向。通過分析種粒區(qū)域中白色區(qū)域的大小,進行玉米種粒胚芽朝向的判斷,為種粒定向包裝和定向播種提供了依據(jù)。王僑等基于機器視覺技術,針對適于定向播種的合格玉米種粒,設計了一種定向定位擺放裝置。相機采集圖像傳到系統(tǒng)后,判斷尖端朝向信息,控制調向分面擺放裝置精確旋轉調整種粒的朝向,能夠實現(xiàn)可控式的、多方位的定向。根據(jù)檢測到的胚芽正反面的不同,能夠將定向種粒準確地定位分放在指定的擺放工位上,經(jīng)實際測試,定位和檢測準確率較高,可以為定向播種的種粒定位提供參考。
農(nóng)作物信息采集與病害檢測
1)農(nóng)作物病蟲害檢測
農(nóng)作物在生長過程中極易遭受病蟲侵害,從而影響最終產(chǎn)量。傳統(tǒng)的大面積施藥不僅浪費資源,更容易對環(huán)境造成污染和破壞。因此,對作物病蟲害區(qū)域進行檢測和識別,控制噴藥機械精準噴灑,是當前機器視覺在農(nóng)業(yè)應用研究的熱點。陳兵旗等研究了小麥病害圖像診斷算法。首先利用小波變換結合病害紋理特征分析進行病害部位的強調,然后通過模態(tài)法自動閾值分割,獲得二值圖像,并對其執(zhí)行膨脹與腐蝕處理,獲得病害部位較完整的修復圖像。最后將修復圖像病害部位的二值圖像與原圖像進行匹配,獲得結果圖像原圖像及檢測結果圖像(圖4)。獲得檢測圖像之后,將病害部位特征數(shù)據(jù)與小麥病害種類數(shù)據(jù)庫比對,進行病害類型的判斷。韓瑞珍等設計了害蟲遠程自動識別系統(tǒng),實現(xiàn)了大田害蟲的快速實時識別。害蟲圖像經(jīng)過分割后,尋找最大連通區(qū)域進行去噪處理得到最后的害蟲圖像,提取個特征值并保存特征值矩陣。利用得到的特征值矩陣對支持向量機分類器進行訓練。最后,利用分類器對害蟲識別請求進行自動分類。該系統(tǒng)可以通過3G無線網(wǎng)絡將害蟲照片傳輸?shù)街骺仄脚_實現(xiàn)遠程自動識別。張芳開發(fā)了一種病斑圖像的分割算法,算法采用了基于HSI顏色模型實現(xiàn)農(nóng)作物葉部病斑圖像的分割,利用顏色信息實現(xiàn)病斑和葉片的分離,根據(jù)亮度信息消除圖像中背景信息的干擾。
2)作物生長信息監(jiān)測
作物外部生長信息包括植物的葉面積、株高、葉片顏色等,通過對作物生長信息的監(jiān)測,可以及時調整作物培養(yǎng)方案,為作物提供適宜生長環(huán)境,滿足精細化農(nóng)業(yè)生產(chǎn)管理的要求。機器視覺技術對作物的生長檢測主要是采集作物二維圖像或合成的三維圖像,進行定量分析,判斷作物生長狀況。馬稚昱等采用機器視覺及圖像處理技術對多株菊花生長信息進行了監(jiān)測研究。實驗過程中,采用了一種基于亞像素和區(qū)域匹配的誤差消除估計算法,有效地提高了檢測精度。檢測系統(tǒng)采用CCD 相機對旋轉云臺上的植株進行定時取像,對菊花的莖長生長進行了分析,實現(xiàn)無接觸的植物生長監(jiān)測。作物的二維圖像視覺監(jiān)測系統(tǒng)雖然具有出色的處理性能,但由于植物多數(shù)具有復雜的冠層形狀,很難從重疊的植物冠層分離單個植株,并且葉片及植株具有不同的顏色和紋理,所以會產(chǎn)生大量的計算數(shù)據(jù)。陳兵旗等以大田間的玉米植株為研究對象,利用雙目立體視覺技術對其進行動態(tài)監(jiān)測與三維建模,監(jiān)測裝置如圖5所示。首先獲取左右視覺圖像,利用大津法對測量區(qū)域內(nèi)的作物進行二值化提取。通過對測量區(qū)域進行網(wǎng)格分割,推算作物覆蓋面積。利用左右視覺圖像視差進行三維重建,獲得白色目標像素的形心點云的三維坐標和平均株高。最后利用OpenGL實現(xiàn)了玉米生長過程的三維可視化顯示,圖6分別表示了3個不同生長時期的玉米三維建模結果,三維測量的株高設定為模型主莖的高度,葉片數(shù)、葉片參數(shù)、主莖直徑等參數(shù)根據(jù)其生長規(guī)律自動生成。該研究對玉米的葉片和主莖進行建模,能夠直觀地觀察作物的生長和發(fā)育過程。該研究方法同樣可以應用于作物的產(chǎn)量預測,通過對玉米穗等其他植株器官進行建模,模擬玉米抽穗之后的生長過程,從而獲取玉米果穗生長信息,進行玉米的產(chǎn)量預測。Jin等開發(fā)了實時立體視覺系統(tǒng)對玉米植株進行檢測,獲得玉米植物冠層的視圖。通過實時圖像處理算法,有效地分離出單個玉米植株并檢測了它們的中心位置。在多個生長階段的玉米植物上測試了立體視覺系統(tǒng)。結果表明系統(tǒng)在室外照明條件下處理纏繞的植物冠層方面表現(xiàn)出優(yōu)異的性能。
3)果蔬的檢測及采摘
果蔬的采摘工作耗時耗力且人工成本較高,由于機器視覺可以完成形狀和顏色識別相關工作,因此結合機器視覺的自動采摘設備具有很廣闊的發(fā)展前景。Liu等研究了自然環(huán)境下桃子果實的自動識別算法。以色差R-G的平均值作為閾值提取桃子紅色區(qū)域,然后進行匹配擴展以識別整個區(qū)域。通過輪廓上線的垂直平分線的交點,得到擬合圓的潛在中心點。最后,通過計算潛在中心點的統(tǒng)計參數(shù),得到擬合圓的中心點和半徑。算法的環(huán)境適應性較高,可以識別單個果實、彼此接觸的果實、被遮擋的果實,且識別準確率高。圖7為采集的果樹上桃子彩色原圖像(圖上圓圈為最終擬合結果),(a)為順光拍攝,光照強,果實單個生長,有樹葉遮擋,背景主要為樹葉;(b)為弱光照、相機自動補光拍攝,果實相互接觸,無遮擋,背景主要為樹葉;(c)為逆光拍攝,圖像中既有單個果實又存在果實相互接觸,且果實被樹葉部分遮擋,背景主要為枝葉和直射陽光。由檢測結果可知,該算法具有很好的擬合效果。Silwal等在機器視覺系統(tǒng)中,使用迭代圓形Hough變換(CHT)檢測清晰可見的蘋果。對圖像中相同像素的連通域進行分析,檢測部分遮擋的蘋果,通過顏色分析鑒定潛在的果實。最后通過試驗證明了連通域分析和CHT的融合算法可以顯著提高檢測精度。趙曉霞等研究了桃子圖像的圖像分割方法。利用RGB 模型和HSI模型分別對彩色圖像進行了3種方法的灰度化處理。然后采用最大類間方差法對圖像進行二值化處理,結合去噪和匹配膨脹的算法可以對自然環(huán)境下的桃子果實圖像進行有效的分割。司永勝等提出了利用歸一化的紅綠色差分割蘋果的方法,隨后采用隨機圓環(huán)法對蘋果輪廓圖像進行果實圓心和半徑的提取。彭輝等采用雙目立體視覺系統(tǒng)解決了重疊果實的分割問題,提出了基于視差圖像的果實分割算法,可以有效地分割相互遮擋的果實,具有較強的魯棒性。Linker等提出了一種在自然光照條件下蘋果彩色圖像計數(shù)的算法,可以有效估計果園產(chǎn)量,進行果園管理決策。
圖7 彩色原圖像上的擬合結果
農(nóng)田視覺導航
1)導航路線檢測
農(nóng)業(yè)車輛自動導航是當前和未來農(nóng)業(yè)智能化研究的熱點,基于機器視覺的導航路線檢測算法是自動導航系統(tǒng)的核心。早在20世紀70年代就有研究者提出視覺導航的概念,在20世紀90年代,很多國家開始對農(nóng)田視覺導航技術進行研究,提出了雜草檢測、導航路線檢測的方法。中國隨后也開始進行相關的研究。對于農(nóng)田導航路線檢測,車輛或機器人工作環(huán)境主要分為水田和旱田,水田中的導航路線檢測的重點是苗列線檢測,陳兵旗對插秧機器人視覺系統(tǒng)進行了研究,提出了基于圖像處理和Hough變換的目標苗列線檢測,土田埂及水泥田埂的檢測。隨后,又研究了水田自動管理機器的行駛路線檢測算法。首先以圖像中的顏色分布來判斷稻谷之間的空間作為行進路線,然后通過對水平線輪廓線的分析,檢測出其運動方向的候選點,最后通過已知的點Hough變換檢測移動方向線。其檢測結果如圖8所示,圖中紅線表示檢測出的水田的導航路線,視覺系統(tǒng)根據(jù)紅色導航線控制機器的行進方向,可以穩(wěn)定行駛。該算法檢測速度快、適應性強,對于復雜水田也可以有效提取導航路線。毛可駿等研究了基于機器視覺的自主插秧機導航信息的提取,提出了一種利用秧苗行分割線作為基準線提取導航參數(shù)的算法。Han等提出了基于圖像分割的車輛導航算法,首先將彩色圖像轉換成灰度圖像,然后計算出每個像素的標準偏差,將平均值和偏差值進行融合,作為支持向量機分割圖像的新輸入因子。最后對小波分析得到的低分辨率圖像進行了處理,分割的結果克服了雜草等高頻干擾的影響。張方明等研究了水田作業(yè)輪式自動農(nóng)業(yè)機器人的路徑規(guī)劃方法,設計了矩形田塊和梯形田塊的自動插秧機路徑規(guī)劃方法。
圖8 水田導航路線檢測
旱田中的導航路線一般是地壟或者已作業(yè)區(qū)域和未作業(yè)區(qū)域的分界線。趙穎等研究了基于機器視覺的耕作機器人行走目標直線檢測,提出了犁溝線斜率的檢測算法和基于掃描線的圖像分割方法,首先用安裝在拖拉機前方的攝像機采集圖像,然后根據(jù)已耕作區(qū)域、未耕作區(qū)域和非農(nóng)田區(qū)域的特征,分析田端和犁溝線位置和方向候補點群,最后使用基于一點的改進Hough變換算法計算犁溝線的斜率。旱田導航路線檢測結果如圖9所示,其中,紅色十字表示檢測出的已知點,黃色直線表示旱田的導航路線,由檢測結果可以看出,該算法在靜態(tài)圖像(a)和動態(tài)圖像(b)中都可以準確地檢測出導航線。李景彬等研究了采棉機和棉花鋪膜播種機田間作業(yè)導航路線和田端的圖像檢測方法,提出了檢測采棉機田間作業(yè)路徑算法,首先針對不同區(qū)域的目標特征進行提取,然后利用小波變換、線性分析和前后幀相關聯(lián)等方法,確定直線變換候補點群,最后用過已知點的Hough變換對候選點進行線性擬合。
2)農(nóng)田障礙物檢測
在農(nóng)用車輛自動駕駛的研究中,農(nóng)田障礙物的檢測也是很重要的研究內(nèi)容。機器視覺系統(tǒng)檢測到障礙物后控制執(zhí)行機構進行制動或者警告,對于實現(xiàn)無人駕駛或者車輛輔助駕駛都具有非常重要的意義。張磊等提出了一種基于雙目視覺的農(nóng)田障礙物檢測方法。首先,利用基于掃描線的目標提取方法進行目標提取,然后進行立體視覺匹配計算解出障礙物型心空間坐標,進而確定障礙物的位置。茍琴等研究了基于視差圖的未知環(huán)境下農(nóng)田障礙物檢測方法,首先用攝像頭采集左右場景圖并計算其視差圖,然后通過視察閾值獲得潛在障礙物,最終通過面積閾值和高度閾值對障礙物定位。李權利用雙目視覺結合最大類間方差法提取障礙物,采用SURF(speeded uprobust features)算法檢測特征點,并進行深度信息計算。Cherubini等提出了一個基于傳感器的視覺導航框架,可以保證避障和導航同時完成,即使存在視覺遮擋,機器人也可以避免碰撞。這些研究均具有一定可行性,為實現(xiàn)農(nóng)用車輛無人駕駛提供了參考依據(jù)。
3)農(nóng)田視覺導航系統(tǒng)集成
與公路導航相比,農(nóng)田導航目標的識別更復雜,但是農(nóng)田導航不需要特別關注周圍環(huán)境,所以農(nóng)用視覺導航系統(tǒng)更容易推廣使用。國內(nèi)外很多研究者將視覺導航系統(tǒng)和控制系統(tǒng)、機械裝置結合,設計了自動駕駛系統(tǒng)。自動駕駛的農(nóng)用車輛裝配農(nóng)田作業(yè)機械進行農(nóng)藥的噴灑、農(nóng)作物收獲等大規(guī)模作業(yè),可以大幅度提高效率、節(jié)約勞動力。Hanawa等開發(fā)了農(nóng)用拖拉機的立體視覺導航系統(tǒng),對兩個相機采集的圖像進行處理,可以檢測農(nóng)作物行、人為標記、非耕作區(qū)域。將檢測到的作物位置數(shù)據(jù)傳送到拖拉機轉向控制器,可以完成拖拉機的自動耕作。English等對農(nóng)田的平行和側向偏移結構,比如作物行或者犁溝線,結合顏色、間距、結構性進行分析,利用C++和OpenCV實現(xiàn)從拍攝的俯視圖中提取導航線。采用多用途車搭載視覺導航系統(tǒng)和GPS系統(tǒng),完成了自動導航。陳兵旗等研究了農(nóng)用拖拉機田間視覺導航系統(tǒng)。利用結合傳感器與機器視覺技術進行信號的采集與處理,通過機械裝置控制方向盤轉動,可以實現(xiàn)拖拉機的無人駕駛。原型樣機如圖10所示,(a)為機器視覺導航系統(tǒng)組成,包括攝像頭、計算機處理系統(tǒng)、轉向控制系統(tǒng)等;(b)為轉向控制系統(tǒng),通過對方向盤的轉向控制,實現(xiàn)模擬人工駕駛。通過性能測試,其導航精度遠高于精密GNSS(全球衛(wèi)星導航系統(tǒng))的定位精度。
圖10 視覺導航系統(tǒng)樣機示意
存在問題及未來展望
機器視覺技術在農(nóng)產(chǎn)品無損檢測、植物生長信息檢測、病蟲害檢測、農(nóng)田視覺導航等方面的研究已有很大進步,但是由于農(nóng)業(yè)研究對象的多樣性和復雜性以及機器視覺技術自身的特點,機器視覺技術在農(nóng)業(yè)領域的應用仍存在如下問題。
1)機器視覺技術對測量條件和環(huán)境要求較高,但是農(nóng)業(yè)生產(chǎn)環(huán)境復雜,應用場合多變,針對不同的研究對象和生產(chǎn)環(huán)境需要開發(fā)不同的處理算法,使得機器視覺測量的環(huán)境適應性和可靠性較差。
2)由于農(nóng)作物特征的多樣化,機器視覺在農(nóng)作物信息檢測和特征提取方面還存在一些不足。對于一些顏色或形狀特征不明顯作物的檢測還需要研究更高精度的檢測算法。
3)目前包含末端執(zhí)行機構的機器視覺系統(tǒng)還不成熟,未能進行大規(guī)模的農(nóng)業(yè)生產(chǎn)應用。并且,由于機械控制系統(tǒng)存在的局限性,導致機器視覺在某些實時性要求較高的場合仍然達不到要求。
4)當前基于機器視覺的農(nóng)業(yè)裝備集成化和智能化程度不高,操作復雜。國內(nèi)外很多對于農(nóng)業(yè)生產(chǎn)的機器視覺應用研究仍處于試驗階段,農(nóng)業(yè)智能裝備的大規(guī)模應用還需要克服很多實際問題。
由于問題的復雜性和長期性,機器視覺系統(tǒng)在農(nóng)業(yè)領域的應用還要經(jīng)歷一段很長的發(fā)展階段,其未來的研究和發(fā)展方向主要集中在以下方面。
1)圖像處理是機器視覺技術的核心,對現(xiàn)有的算法進行改進或者研究出更為高效的算法,提高機器視覺系統(tǒng)的處理效率和魯棒性,仍然是未來機器視覺應用和發(fā)展的重要前提。當前,基于卷積神經(jīng)網(wǎng)絡的圖像識別算法正處于研究階段,訓練后的卷積神經(jīng)網(wǎng)絡可以極大提高圖像識別的準確性,應用卷積神經(jīng)網(wǎng)絡模型的機器視覺系統(tǒng)將成為未來發(fā)展趨勢。
2)嵌入式視覺系統(tǒng)具有結構緊湊、處理速度快、成本低等特點,成為未來機器視覺系統(tǒng)發(fā)展的重要方向。也使得結合機器視覺系統(tǒng)的農(nóng)機裝備的大規(guī)模普及成為可能。
3)融合多種技術的機器視覺系統(tǒng)也是當前及未來研究熱點。例如,融合機器視覺系統(tǒng)和北斗導航系統(tǒng),可以實現(xiàn)農(nóng)田導航系統(tǒng)的高精度和低成本;融合三維成像技術、神經(jīng)網(wǎng)絡技術、智能控制技術等,可以使農(nóng)田作業(yè)機器人更加智能化。
結 論
機器視覺技術在農(nóng)業(yè)生產(chǎn)中的應用研究范圍很廣,涉及農(nóng)業(yè)生產(chǎn)的各個環(huán)節(jié)。在農(nóng)作物種子的精選和質量檢驗、作物病蟲害的監(jiān)視、植物生長信息的監(jiān)測、果蔬的檢測、水果分級、糧食的無損檢測及農(nóng)業(yè)機械上都起著很重要的作用。機器視覺技術以其獨有的優(yōu)勢,對實現(xiàn)農(nóng)業(yè)的高度自動化和智能化有重要推動意義。目前,中國的機器視覺農(nóng)機裝備相比于國外仍有一些差距,精度及自動化水平較低,實際應用也存在可靠性問題,說明中國的農(nóng)業(yè)智能化發(fā)展還有很長的一段路要走。當然,機器視覺技術本身的局限性和農(nóng)業(yè)應用的復雜性也限制了機器視覺裝備的大規(guī)模推廣和使用。當前機器視覺技術仍處于高速發(fā)展階段,隨著現(xiàn)代智能化及相關技術的發(fā)展,機器視覺技術也將不斷完善,現(xiàn)階段的很多問題會得到解決,機器視覺技術在農(nóng)業(yè)領域的應用也將進一步擴展。