Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2288-0992(Print)
ISSN : 2288-100X(Online)
Protected Horticulture and Plant Factory Vol.28 No.4 pp.358-365
DOI : https://doi.org/10.12791/KSBEC.2019.28.4.358

Estimation of the Dimensions of Horticultural Products and the Mean Plant Height of Plug Seedlings Using Three-Dimensional Images

Dong Hwa Jang1, Hyeon Tae Kim2, Yong Hyeon Kim3,4
1Dept. of Agricultural Machinery Engineering, Graduate School, Jeonbuk National University, Jeonju 54896, Korea
2Dept. of Biosystems Engineering, College of Agriculture & Life Sciences, Gyeongsang National University (Institute of Agriculture & Life Science), Jinju 52828, Korea
3Dept. of Bioindustrial Machinery Engineering, College of Agriculture & Life Sciences, Jeonbuk National University, Jeonju 54896, Korea
4Institute for Agricultural Machinery & ICT Convergence, Jeonbuk National University, Jeonju 54896, Korea
Corresponding author: yhkim@jbnu.ac.kr
August 22, 2019 September 18, 2019 October 1, 2019

Abstract


This study was conducted to estimate the dimensions of horticultural products and the mean plant height of plug seedlings using three-dimensional (3D) images. Two types of camera, a ToF camera and a stereo-vision camera, were used to acquire 3D images for horticultural products and plug seedlings. The errors calculated from the ToF images for dimensions of horticultural products and mean height of plug seedlings were lower than those predicted from stereo-vision images. A new indicator was defined for determining the mean plant height of plug seedlings. Except for watermelon with tap, the errors of circumference and height of horticultural products were 0.0-3.0% and 0.0-4.7%, respectively. Also, the error of mean plant height for plug seedlings was 0.0-5.5%. The results revealed that 3D images can be utilized to estimate accurately the dimensions of horticultural products and the plant height of plug seedlings. Moreover, our method is potentially applicable for segmenting objects and for removing outliers from the point cloud data based on the 3D images of horticultural crops.



3차원 영상을 이용한 원예산물의 크기와 플러그묘의 평균초장 추정

장 동화1, 김 현태2, 김 용현3,4
1전북대학교 대학원 농업기계공학과
2경상대학교 농업생명과학대학 바이오시스템공학과
3전북대학교 농업생명과학대학 생물산업기계공학과
4전북대학교 농업기계ICT융합연구소

초록


본 연구는 3차원 영상을 이용하여 원예산물의 크기와 플러그묘의 평균초장을 결정하고자 수행되었다. 3차원 영 상을 획득하고자 ToF 카메라와 스테레오비전 카메라를 사 용하였다. 본 연구의 3차원 영상 획득용 실험 재료로서 수 박, 사과, 배, 단호박, 오렌지의 원예산물과 수박, 토마토 및 고추 플러그묘를 사용하였다. 플러그묘의 평균 초장을 결정하는 지표로서 기존의 측정 기준 대신에 수정초장이 제시되었다. 스테레오비전 영상에 비해서 ToF 영상을 이 용한 경우에 원예산물의 크기와 플러그묘의 평균초장 오 차가 작게 나타났다. 꼭지가 있는 원예산물을 제외할 경우 ToF 영상을 이용한 원예산물의 둘레와 높이의 오차는 각 각 0.0-3.0%, 0.0-4.7%로 나타났다. 또한, 플러그묘의 평균 초장에 대한 오차는 0.0-5.5%로 나타났다. 본 연구를 통해 서 3차원 영상을 이용한 원예산물의 크기와 플러그묘에 대한 초장 추정의 가능성을 확인하였다. 더구나, 본 연구 에서 시도된 방법은 3차원 영상으로부터 물체와 배경의 효과적인 분리, 이상치의 제거 등에 활용될 것이다.



    Rural Development Administration
    PJ01384401Ministry of Agriculture, Food and Rural Affairs
    717001-07-2-SB210

    서 언

    ICT 기술과 기존의 생산, 가공, 유통, 서비스 산업이 융합되는 4차 산업혁명 기술은 정보의 지능화와 새로운 가치를 창출하면서 농작업의 자동화 및 로봇화를 견인하 여 농업 경쟁력을 강화시킬 수단으로 주목받고 있다. 농 작업의 자동화 및 로봇화 기술은 생산비 절감, 노동력 절감 또는 환경제어 정도를 향상시킬 것으로 기대된다 (Edan 등, 2009).

    영상은 농작업의 자동화 및 로봇화를 구현하기 위한 기본 요소에 해당한다. 더구나 영상 처리 기술의 발전, 저렴한 기계시각 장치의 등장 및 비접촉 또는 비파괴적 인 측정을 가능케 하는 기계시각의 특성 등에 힘입어 여러 형태의 농작업을 수행하는 단계에서 3차원 영상의 활용이 검토되고 있다(Grift, 2008;Vázquez-Arellano 등, 2016). 이제까지 농업 분야에서 3차원 영상 시스템의 도 입이 제한을 받은 이유로서 경제적인 측면에서의 타당성 을 확보하지 못했던 점을 들 수 있다. 즉 가격이 저렴한 원예산물을 생산하는 단계에서 고가의 영상획득 장치를 사용한다는 지적을 피할 수 없었다. 그런데 고가의 액추 에이터(actuator)가 자동화 또는 로봇 시스템의 핵심 요 소로 사용되고 있는 현재의 상황에서 이러한 지적은 더 이상 타당하지 않다.

    3차원 영상은 기준 좌표계로부터 임의의 객체 표면에 있는 수많은 점들 사이의 깊이 정보(depth information) 의 집합으로 정의된다(Besl, 1988). 일반적으로 깊이 정 보를 획득할 때 비행시간(Nakarmi와 Tang, 2012;Yin 등, 2013), 삼각측량(Zhao 등, 2012), 간섭(Thilakarathne 등, 2014)의 원리가 적용된다. 이러한 원리에 더하여 스 테레오비전(Kise 등, 2005;Wei 등, 2005;Viazzi 등, 2014) 또는 구조광(Nissimov 등, 2015)을 이용한 3차원 영상은 작물, 장해물 또는 가축의 위치 인식 등에 활용 되고 있다.

    영상 측정 시스템을 통해 획득된 3차원 영상에는 복잡 한 형태의 깊이 정보를 포함하여 수많은 정보가 담겨 있다. 그런데 3차원 영상을 2차원 영상으로 표현할 때 깊이 정보가 사라진다(Ma 등, 2004). 때문에 깊이 정보 를 추출해내는 기술은 3차원 영상처리 기술의 핵심에 해당한다.

    3차원 영상처리에 대한 관심이 증가하고 있는 가운데 농산물 또는 원예작물의 형태적 특성을 분석하고자 3차 원 영상의 활용이 검토되고 있다. 이러한 형태적 특성에 는 농산물의 크기 또는 체적, 작물의 초장 등이 포함된 다. 농산물 또는 작물에 대한 3차원 영상 정보를 이용할 경우 이것들의 형태적 특성을 측정하는데 필요한 노력을 절감할 수 있을 뿐만 아니라 둘레와 같이 2차원 영상에 서 결정하기 어려운 형태적 특성의 측정이 가능하다. 더 구나 원예산물에 대한 3차원 영상 해석을 통해서 원예산 물의 체적 또는 무게 등과 같은 부가적인 정보를 얻을 수 있다. 또한, 플러그트레이를 사용하는 각종 과채류와 엽채류는 물론 벼를 육묘하는 육묘 현장에서 플러그트레 이 단위로 플러그묘의 평균 초장을 결정할 수 있다.

    이제까지 플러그묘의 초장, 엽장 또는 줄기직경 등의 생장 관련 데이터를 측정할 때 자 또는 캘리퍼스 등의 수단이 사용되었다. 이 경우 반복적인 측정이 이루어지 기는 하나, 대부분의 연구자들은 데이터 수집에 소요되 는 노력과 시간을 줄이고자 몇 주 정도의 플러그묘를 표본으로 추출한다. 그런데 표본의 크기가 작을 경우 모 집단을 대표하기 어렵다. 더구나 플러그묘의 초장, 엽색, 병징 유무 등의 묘소질을 비파괴적인 방법으로 분석하려 면 플러그트레이 단위로의 측정이 바람직하다. 한편, 플 러그묘의 초장을 개체 단위가 아닌 트레이 단위로 측정 할 경우 기존의 측정 기준을 적용하기가 곤란하다. 플러 그묘는 기본적으로 밀식된 상태로 생장이 이루어지는데 다 묘의 종류에 따라 본엽이 고유한 형태로 전개되므로 생장점 또는 최상단 지점을 정의하기가 쉽지 않다. 더구 나 잎의 중첩으로 인해서 생장점을 찾기가 곤란하다. 때 문에 플러그묘의 초장을 추정하고자 3차원 영상을 사용 할 경우 실제 초장에 가까운 값을 얻을 수 있는 적절한 정의가 필요하다.

    원예산물과 플러그묘의 품질 관련 요소를 영상처리 방 법으로 결정하고자 수행된 본 연구의 목적은 3차원 영 상 획득 및 영상처리 기술을 적용하여 원예산물의 크기 와 플러그묘의 평균초장을 추정하는 데 있다.

    재료 및 방법

    1. 실험 재료

    원예산물의 3차원 영상을 획득하기 위한 실험 재료는 크기, 형태, 색상 등의 품질 관련 지표를 고려하여 수박, 사과, 배, 오렌지 및 단호박을 각각 1개씩 사용하였다. 또한, 플러그묘의 평균초장을 결정하고자 수박, 토마토 및 고추 묘를 실험 재료로 사용하였다. 수박, 토마토 및 고추 플러그묘는 육묘장에서 구입되었으며, 각각 40셀, 40셀, 72셀의 플러그트레이에서 육묘되었다. 생육 단계 에 따라 추정된 평균 초장의 정확도를 검토하고자 3차 원 영상 획득에 2종류(본엽을 기준으로 각각 3-4매, 7-8 매)의 수박 플러그묘와 2종류(본엽 1-2매, 3-4매)의 토마 토 플러그묘를 사용하였다. 한편, 고추 플러그묘의 본엽 은 12-13매이었다.

    2. 3차원 영상 측정 시스템 구성 및 영상 획득

    본 연구에서 사용된 3차원 영상 측정 시스템은 영상 획득용 카메라, 시료용 선반 및 카메라 고정용 프레임으 로 구성된다. 영상 획득용 카메라로서 ToF 카메라 (StarForm Swift, Odos Imaging, Scotland)와 스테레오비 전 카메라(ZED, Stereolabs, USA)가 사용되었다. 상기 2 대의 카메라를 고정하고자 두께 30mm의 알루미늄 프로 파일을 사용한 영상 획득용 프레임을 제작하였다 (Fig. 1). 이 때 카메라는 프레임 상부에 고정되고, 카메라로부 터 1m 떨어진 지점에 실험 재료가 놓이는 시료용 선반 이 설치되었다. 실험 재료의 3차원 영상 측정에 미치는 태양광의 복사 효과를 차단하고자 모든 영상은 챔버 내 에서 획득되었다.

    3. 3차원 영상처리

    본 연구에서 3차원 영상처리는 영상 획득, 배경분리, 이상치 제거의 순서로 이루어졌다(Fig. 2). 실험 재료에 대한 3차원 영상은 점구름 데이터(point cloud data, PCD) 형태로 저장된다. PCD는 좌표계에 속한 점들의 집합을 의미한다. 3차원 좌표계에서 이러한 점들은(x, y, z) 좌표로 정의된다. 여기에서 z값은 임의의 픽셀 좌표 (x, y)에서의 깊이 정보를 나타낸다. 원예산물과 플러그 묘의 PCD를 시각화한 영상은 Fig. 3과 같다.

    PCD를 기반으로 원예산물의 높이와 둘레, 플러그묘의 평균초장을 추정하려면 3차원 영상에서 실험 재료와 배 경의 분리가 필요하다. 실험 재료와 배경의 분리에 실험 재료가 포함된 3차원 영상과 포함되지 않은 3차원 영상 에서 화소단위의 z 값 차이를 이용하였다. z 값은 카메 라와 실험 재료 사이의 거리 정보를 포함하고 있기 때 문에 이를 활용하면 실험 재료와 배경의 분리가 가능하 다. 배경 분리의 정확성을 높이고자 스테레오비전 영상 에서는 획득된 디지털 영상을 추가로 이용하였다. 이 때 백색의 시료용 선반과 유색의 물체를 색상으로 구분하기 쉽도록 RGB 좌표의 영상을 HSV 좌표로 변환하였다. 다음으로 HSV 좌표 중 H(hue) 채널을 이용하여 물체를 인식하였다.

    PCD를 획득하게 되면 렌즈의 왜곡, 난반사 등의 문제 로 잡음이 함께 포함되어 있다. 이러한 잡음은 이후 계 산 과정이나 형상 인식에 영향을 줄 가능성이 있으므로 제거해야 한다. Rusu 등(2008)은 k 최근접 이웃 (knearest neighbors) 알고리즘을 이용하여 PCD에서 인접 한 점들의 거리에 대한 평균(μ)과 표준편차(σ)를 계산하 였다. 즉, k 개의 이웃한 점들 중 거리가 μ±σ의 임계값 을 초과하면 이상치로 간주하여 제거하는 방법을 제안하 였다. 본 연구에서는 k 값을 5, 10, 15, 20, 25로 설정한 후 이상치 제거에 적합한 k 값을 결정하였다.

    4. 원예산물의 크기 및 플러그묘의 평균 초장 결정

    ToF 카메라와 스테레오비전 카메라를 이용하여 획득된 3차원 영상에서 원예산물의 높이는 상단으로부터 하단까 지의 수직거리로 정의된다. 또한, 이들의 둘레는 상부에 서 내려 보이는 테두리의 길이와 같다. PCD의 거리 정 보를 이용한 원예산물의 높이 결정은 식(1)로부터 계산 된다.

    H = L 1 L 2
    (1)

    여기서, H: 원예산물의 높이, L1: 카메라와 시료용 선반 사이의 거리, L2: 카메라와 실험 재료 사이의 거리이다.

    둘레 측정은 실험 재료의 가장 외곽에 위치한 PCD를 유클리드 거리(Euclidean distance)로 계산하였으며 계산 식은 식 (1)과 같다.

    D= i=1 n-1 ( x i+1 -x i ) 2 + ( y i+1 -y i ) 2 + ( z i+1 -z i ) 2
    (2)

    여기서,L: 원예산물의 둘레, n: 외곽에 위치한 PCD의 수, x, y, z: PCD의 좌표값이다.

    농촌진흥청의 농업과학기술 연구조사분석기준(2012)에 따르면 과채류의 초장 측정 기준이 오이와 가지에 대해 서만 제시되어 있다. 즉, 오이의 초장은 지제부에서 생 장점까지의 총 길이로 정의되었고, 가지의 경우 수확기 에 식물체의 지제부에서 가장 높은 지점까지의 길이가 초장으로 정의되었다. 따라서 원예작물의 초장이 극히 일부 작목에 대해서만 제시되어 있을 뿐만 아니라, 정의 된 기준조차 동일하지 않음을 알 수 있다. 더구나 플러 그묘의 초장이 명확하게 제시되어 있지 않다. 때문에 플 러그묘의 생장 지표에 해당하는 초장을 개체 단위로 측 정할 경우 연구자들은 지제부로부터 생장점 또는 최상단 지점까지의 길이를 선택하여 사용한다. 이로 인해서 초 장의 측정치가 적용된 선택 기준에 따라 달라지는 바, 플러그묘 생육 판단을 위해서 새로운 측정 기준의 도입 이 필요하다.

    본 연구에서는 3차원 영상을 이용하여 플러그묘의 초 장을 결정할 때 기존의 측정 기준 대신에 수정 초장 (modified plant height)을 도입하였다. 수정 초장은 플러 그트레이 상단으로부터 본엽의 최고점까지의 거리(L)로서 정의된다(Fig. 4). 수박, 토마토 및 고추 플러그묘의 초장 은 개체별로 획득된 3차원 영상으로부터 평균 초장을 추 정하였다. 아울러 평균 초장의 정확도를 평가하고자 본 실험에 사용된 플러그묘의 초장을 개체 단위로 측정하여 평균값을 비교하였다. 플러그묘의 수정초장은 원예산물의 높이를 구하는 방법과 동일하게 계산하였다. 이 때 추가 적으로 플러그트레이 높이를 제외하였다. 본 연구의 영상 전처리와 거리 정보 추출에 MATLAB(R2019a, MathWorks, USA)이 사용되었다.

    3차원 영상으로부터 결정된 원예산물의 높이와 둘레, 플러그묘의 평균초장에 대한 실측치와 추정치를 비교하 고자 식(3)을 이용하여 오차를 계산하였다.

    Error ( % ) = | V m  -  V e V m | ×100
    (3)

    여기서, Vm: 실측치, Ve: 추정치이다.

    원예산물의 높이와 둘레 측정에 스테인레스 직자 (SSRP-600, SB Co., Korea)와 줄자(KMC-1600, Komelon Co., Korea)를 사용하였다. 또한 플러그묘의 초장 측정 에 캘리퍼스(CD-15CP, Mitutoyo Co., Japan)를 사용하 였다. 개체 단위의 측정에서 수박과 토마토 플러그묘는 각각 40주씩 측정하였고, 고추 플러그묘는 50주를 측정 하였다.

    결과 및 고찰

    1. 3차원 영상을 이용한 원예산물의 둘레와 높이 결정

    원예산물의 크기 추정에 앞서서 이상치 제거에 적합한 k 값을 결정하였다. k 값의 변화에 따라 원예산물의 둘 레가 다르게 추정되는 바, 둘레 오차의 평균을 적정 k 원예산물의 크기 추정에 앞서서 이상치 제거에 적합한 k 값을 결정하였다. k 값의 변화에 따라 원예산물의 둘 레가 다르게 추정되는 바, 둘레 오차의 평균을 적정 k 값의 선정 기준으로 사용하였다. 단호박을 대상으로 적 용된 k 값에 따른 둘레 오차의 평균은 Table 1과 같다. ToF 카메라와 스테레오비전 카메라를 이용하였을 때 오 차의 평균은 각각 1.30-1.51%, 4.18-5.06%로 나타났다. ToF 카메라를 이용한 경우의 오차 평균은 k 값이 25일 때 1.30%로 가장 작았으며 20과 10일 때 1.32%이었다. 한편, 스테레오비전 카메라에서는 k 값이 20일 때 4.18%의 가장 작은 오차가 나타났다. 그러므로 본 연구 에서는 이상치 제거에 필요한 적정 k 값을 20으로 설정 하였다. Fig. 5는 k 값을 20으로 설정한 경우의 단호박 영상에 대한 이상치 제거 결과를 표시한다.

    ToF 카메라를 이용하여 획득된 3차원 영상으로부터 결정된 원예산물의 높이와 둘레의 추정치와 실측치는 Table 2와 같다. 둘레에 대한 오차는 오렌지, 단호박, 수 박, 사과, 배의 순서로 각각 0.0%, 0.2%, 1.4%, 1.9%, 3.0%로 나타났다. 측정에 사용된 실험 재료 가운데 둘레 의 실측치가 630mm로서 가장 큰 수박의 추정치는 621mm로서 오차가 1.4%이었다. 한편, 크기가 상대적으 로 작은 사과와 배의 둘레 실측치는 319mm, 368mm이 었으며, 오차는 각각 1.9%, 3.0%로 나타났다. 그러므로 ToF 카메라로 획득된 3차원 영상으로부터 추정된 둘레 에 원예산물의 크기가 영향을 미치지는 않은 것으로 판 단된다. 높이에 대한 오차는 사과, 배, 오렌지의 경우 모 두 0.0%로서 나타났고, 단호박과 수박은 각각 4.7%, 7.9%로 나타났다. 크기가 상대적으로 작은 원예산물의 경우 높이에 대한 오차가 없었던 것에 비해서 수박에서 는 높이에 대한 오차가 크게 나타났다. 이러한 결과는 수박의 꼭지에 의한 영향으로 판단된다. 향후 수박의 꼭 지가 제거된 상태에서 3차원 영상을 획득한다면 높이에 대한 오차가 줄어들 것으로 기대된다.

    동일한 실험 재료에 대해서 스테레오비전 카메라를 이 용하여 획득된 3차원 영상으로부터 추정된 결과는 Table 3과 같다. 실험 재료의 둘레 오차는 단호박, 오렌지, 수 박, 사과, 배의 순서로 각각 0.8%, 2.6%, 5.2%, 6.3%, 8.2%로 나타났다. 한편, 높이에 대한 오차는 사과, 단호 박, 오렌지, 배, 수박의 순서로 각각 1.1%, 1.9%, 2.3%, 7.7%, 15.3%로 나타났다. 단호박을 제외하면 스테레오비 전 영상으로부터 추정된 둘레와 높이의 오차가 ToF 영 상에 비해서 전체적으로 크게 나타났다. 이러한 결과는 본 연구에 사용된 스테레오비전 카메라의 기계적 사양과 영상에 포함된 잡음(noise)으로 인해서 나타난 것으로 추 측된다. 수박에서 높이에 대한 오차가 15.3%로서 가장 높게 나타났는데, 이러한 결과는 ToF 영상에서와 마찬가 지로 꼭지에 의한 영향으로 판단된다. 스테레오비전 영 상을 이용한 실험 재료의 둘레 추정은 단호박을 제외하 고 2% 이상의 오차가 나타났다. 대상 물체로부터의 하 이라이트(highlights)는 깊이 정보에 영향을 줄 수 있다 (Templin 등, 2012). 단호박을 제외한 나머지 원예산물은 표면이 매끄럽고 광택이 있기 때문에 하이라이트가 생길 수 있고, 이로 인해서 오차가 커졌을 것으로 판단된다.

    2. 3차원 영상을 이용한 플러그묘의 평균초장 추정

    3차원 영상을 이용한 수박, 토마토 및 고추 플러그묘 평균초장의 실측치와 추정치는 Table 4와 같다. ToF 영 상으로부터 추정된 수박 플러그묘의 평균초장은 실측치 에 비해서 4mm 높게 나타난 가운데 평균 초장의 오차가 본엽 7-8매인 경우 2.0%, 본엽 3-4매인 경우 4.9%로서 본엽 수가 작을수록 오차가 크게 나타났다. 이러한 결과 는 토마토 플러그묘에서도 유사하게 나타났다. 본엽이 3- 4매인 경우의 오차는 0.0%이었으나, 본엽이 1-2매인 어린 묘에서는 오차가 5.5%로서 높게 나타났다. 이러한 결과 는 ToF 카메라의 화각에 비해서 플러그묘의 크기가 작았 기 때문에 획득된 플러그묘 영상에서의 PCD가 줄어들었 기 때문이다. 초장이 작을수록 잎과 지제부 사이의 거리 가 줄어들기 때문에 지제부 부근의 배지에 의한 잡음이 PCD에 영향을 줄 수 있다. 본 연구에서 평균초장이 작을 수록 오차가 크게 나타난 이유는 획득된 깊이 정보의 양 과 배지가 PCD에 미치는 영향으로 판단된다. 또한, 생육 환경에 따라 잎의 전개 각도 또는 처짐 정도가 다를 수 있는 플러그묘의 3차원 영상으로부터 평균 초장을 추정 할 경우 오차가 생길 수 있다. 한편, 고추 플러그묘의 평 균 초장에 대한 오차는 0.4%로 나타났다.

    스테레오비전 영상을 이용하였을 때 공시 플러그묘의 평균초장의 오차는 4.2-21.8%로 나타났다. 원예산물의 둘레 및 높이를 추정한 결과에서와 마찬가지로 ToF 영 상에 비해서 스테레오비전 영상을 이용한 경우에 오차가 높게 나타났다. 한편 평균초장의 추정치가 ToF 영상을 이용하였을 때 실측치에 비해서 높게 나타났으나, 스테 레오비전 영상에서는 반대로 낮게 나타났다.

    본 연구는 ToF 카메라와 스테레오비전 카메라를 사용 하여 획득된 3차원 영상으로부터 원예산물의 크기와 플 러그묘의 평균초장을 결정하고자 수행되었다. 전체적으 로 ToF 카메라를 이용한 3차원 영상으로부터 추정된 원 예산물의 크기와 플러그묘 평균초장의 오차가 작게 나타 났다. 원예산물의 크기 가운데 실측치와 추정치의 차이 가 가장 크게 나타난 것은 스테레오비전 영상을 이용한 수박의 높이로서 29mm의 차이, 즉 15.3%의 오차가 나 타났다. 한편, 플러그묘에서 평균초장의 차이가 크게 나 타난 것은 본엽 1-2매의 토마토 묘에 대한 스테레오비전 영상으로서 21.8%의 오차에 해당하는 12mm의 차이가 나타났다. 결과적으로 스테레오비전 카메라로부터 획득 된 3차원 영상을 이용할 경우 오차가 크게 나타났다. 이 러한 오차의 발생 원인으로 본 연구에서 사용된 스테레 오비전 카메라의 기계적 사양을 제외하고도 실측치 측정 과정에서의 오차, 3차원 영상처리 단계에서의 실험 재료 와 배경의 분리, 이상치 제거 방법 등을 들 수 있다.

    스테레오비전 카메라는 91.2°×65.5° (H×V)의 비교적 넓은 화각을 지니고 있었으나, 본 연구에 사용된 실험재 료의 크기가 작기 때문에 획득된 전체 PCD 중 원예산 물 또는 플러그묘가 차지하는 PCD가 상대적으로 작았 다. 때문에 원예산물의 크기와 플러그묘의 평균초장을 추정한 결과 ToF 카메라가 사용된 경우에 비해서 오차 가 작게 나타났다. 앞으로, 스테레오비전 카메라를 이용 하여 초장을 결정할 때 개체가 아닌 트레이 단위로 플 러그묘의 영상을 획득한다면 많은 양의 PCD를 획득할 수 있으므로 추정 오차가 줄어들 것이다.

    플러그묘는 육묘 단계에서 트레이 단위로 관리되며, 출하 단계에서도 트레이 단위로 포장되고 있다. 이와 같 은 관리 및 출하 과정을 고려할 때 향후 트레이 단위의 묘소질 평가가 도입될 것으로 전망된다. 묘 소질은 묘가 지니고 있는 특성으로서, 작물의 정식 후 생육과 수량에 커다란 영향을 미친다(Markovic 등, 2000;Lee 등, 2012). 소질이 우수한 플러그묘를 재배에 이용하면 정식 단계에서 활착 환경에 쉽게 적응하거나, 재배 과정에서 비료, 농약, 자재, 관리 노력 등을 적게 투입할지라도 수 량이 증대되거나, 품질의 향상이 기대된다(Kim, 2000).

    이제까지 3차원 영상 정보가 물체 인식, 공정 검사, 디스플레이 등 주로 비농업 분야에서 많이 활용되고 있 다. 농업 분야에서 3차원 영상은 식물 표현형 해석에 적 용되고 있는 가운데, 작물의 3차원 PCD로부터 잎과 줄 기를 분리하는 방법이 제안된 바 있다 (Gélard 등, 2017;Li 등, 2018). 3차원 영상에는 깊이 정보를 포함하여 수 많은 정보가 담겨 있다. 3차원 영상정보를 이용하여 작물 의 생육 상태를 정확하게 진단하려면 영상 분할과 재현 성 관련 기술이 확보되어야 한다(Bassel, 2015).

    본 연구를 통해서 3차원 영상을 이용한 원예산물의 크 기와 플러그묘에 대한 평균초장 추정의 가능성을 확인하 였다. 비록 플러그묘의 종류 또는 본엽 수에 따라 추정 오차가 다르게 나타났으나, 영상정보로부터 이상치를 효 과적으로 제거하는 알고리즘이 개발된다면 추정오차가 크게 줄어들 것이다. 향후 3차원 영상에서 대상 물체와 배경의 정확한 분리, 이상치를 효과적으로 제거하는 영 상처리 기술은 3차원 영상처리에 기반을 둔 농작업의 자동화 및 로봇화에 활용될 것이다. 예를 들면, 3차원 영상처리 기술의 개발로 인하여 농산물의 크기를 비롯하 여 작물 또는 열매의 위치는 물론 농산물의 크기를 정 확하게 결정할 수 있다. 이로 인하여 수확용 로봇의 작 업 성능이 크게 향상될 것이다. 또한 비파괴적인 방법에 의해서 플러그묘의 평균초장을 트레이 단위로 정확하게 측정할 수 있기 때문에 묘의 생장 및 품질 관리에 소요 되는 노력이 크게 절감될 것이다.

    결론적으로 3차원 영상처리 기술의 개발은 작물의 생산, 수확, 포장 및 유통에 이르기까지 광범위하게 자동화가 진 행되고 있는 농업분야의 발전에 크게 기여할 것이다.

    적 요

    본 연구는 3차원 영상을 이용하여 원예산물의 크기와 플러그묘의 평균초장을 결정하고자 수행되었다. 3차원 영 상을 획득하고자 ToF 카메라와 스테레오비전 카메라를 사 용하였다. 본 연구의 3차원 영상 획득용 실험 재료로서 수 박, 사과, 배, 단호박, 오렌지의 원예산물과 수박, 토마토 및 고추 플러그묘를 사용하였다. 플러그묘의 평균 초장을 결정하는 지표로서 기존의 측정 기준 대신에 수정초장이 제시되었다. 스테레오비전 영상에 비해서 ToF 영상을 이 용한 경우에 원예산물의 크기와 플러그묘의 평균초장 오 차가 작게 나타났다. 꼭지가 있는 원예산물을 제외할 경우 ToF 영상을 이용한 원예산물의 둘레와 높이의 오차는 각 각 0.0-3.0%, 0.0-4.7%로 나타났다. 또한, 플러그묘의 평균 초장에 대한 오차는 0.0-5.5%로 나타났다. 본 연구를 통해 서 3차원 영상을 이용한 원예산물의 크기와 플러그묘에 대한 초장 추정의 가능성을 확인하였다. 더구나, 본 연구 에서 시도된 방법은 3차원 영상으로부터 물체와 배경의 효과적인 분리, 이상치의 제거 등에 활용될 것이다.

    추가 주제어: 깊이 정보, 3차원 센서, 스테레오비전, ToF 카메라

    사 사

    본 결과물은 농촌진흥청 공동연구사업(PJ01384401)과 농림축산식품부의 재원으로 농림식품기술기획평가원의 농림축산식품연구센터지원사업 (717001-07-2-SB210) 의 지원을 받아 연구되었음.

    Figure

    KSBEC-28-4-358_F1.gif

    A schematic representation for acquiring three-dimensional image used in this study.

    KSBEC-28-4-358_F2.gif

    A flowchart of three-dimensional image processing.

    KSBEC-28-4-358_F3.gif

    Point cloud data acquired by ToF camera (Left: watermelon, Right: pepper seedlings).

    KSBEC-28-4-358_F4.gif

    Definition of modified plant height.

    KSBEC-28-4-358_F5.gif

    Removal of outliers using k-nearest neighbors algorithm from the point cloud data of sweet pumpkin (Left: before removing, Right: after removing).

    Table

    Determination of optimum k-value for k-nearest neighbors algorithm.

    Estimation of circumference and height of horticultural products measured by ToF camera.

    Estimation of circumference and height of horticultural products measured by stereo vision camera.

    Estimation of mean plant height and error of plug seedlings.

    Reference

    1. Bassel, G.W. 2015. Accuracy in quantitative 3D image analysis. Plant Cell 27:950–953.
    2. Besl, P.J. 1988. Active, optical range imaging Sensors. Mach. Vis. Appl. 1:127–152.
    3. Edan, Y. , S. Han, and N. Kondo.2009. Automation in agriculture. p. 1095-1128. In: Nof, S.Y. (ed.), Handbook of automation. Springer, New York, NY.
    4. Gélard, W. , A. Herbulot, M. Devy, P. Debaeke, R.F. McCormick, S.K. Truong, and J. Mullet.2017. Leaves segmentation in 3D point cloud. p. 664-674. In: Blanc-Talon, J., R. Penne, W. Philips, D. Popescu, and P. Scheunders (eds.), Advanced concepts for intelligent vision systems. Springer, New York, NY.
    5. Grift, T. 2008. A review of automation and robotics for the bioindustry. J. Biomechatron. Eng. 1:37–54.
    6. Kim, Y.H 2000. Application of biotechnology in the field of agricultural machinery engineering – Development of closed system for transplant production. J. of the Korean Society for Agricultural Machinery 25:311-326 (in Korean).
    7. Kise, M. , Q. Zhang, F. Rovira Más.2005. A stereovisionbased crop row detection method for tractor-automated guidance. Biosyst. Eng. 90:357–367.
    8. Lee, J.S. , H.I. Lee, and Y.H. Kim.2012. Seedling quality and early yield after transplanting of paprika nursed under lightemitting diodes, fluorescent lamps and natural light. J. of Bio-Environment Control 21:220-227 (in Korean).
    9. Li, D. , Y. Cao, X. Tang, S. Yan, and X. Cai.2018. Leaf segmentation on dense plant point clouds with facet region growing. Sensors 18:3625-3640.
    10. Ma, Y. , S. Soatto, J. Kosecka, and S. Sastry.2004. Representation of a three-dimensional moving scene. p. 15-43. In: An invitation to 3-D vision: From images to geometric models. Springer, New York, NY.
    11. Markovic, V. , M. Djurovka, Z. Ilin, and B. Lazic.2000. Effect of seeding quality on yield characters of plant and fruits of sweet pepper. Acta Horticulturae 533:113-120.
    12. Nakarmi, A. and L. Tang.2012. Automatic inter-plant spacing sensing at early growth stages using a 3D vision sensor. Comput. Electron. Agric. 82:23–31.
    13. Nissimov, S. , J. Goldberger, and V. Alchanatis.2015. Obstacle detection in a greenhouse environment using the Kinect sensor. Comput. Electron. Agric. 113:104–115.
    14. Rusu, R.B. , Z.C. Marton, N. Blodow, M. Dolha, and M. Beetz.2008. Towards 3D point cloud based object maps for household environments. Robot. Auton. Syst. 56:927-941.
    15. Templin, K. , P. Didyk, T. Ritschel, K. Myszkowski, and H.P. Seidel.2012. Highlight microdisparity for improved gloss depiction. ACM T. Graphic. 31(4):1-5.
    16. Thilakarathne, B.L.S. , U.M. Rajagopalan, H. Kadono, and T. Yonekura.2014. An optical interferometric technique for assessing ozone induced damage and recovery under cumulative exposures for a Japanese rice cultivar. Springerplus 3:89-100.
    17. Vázquez-Arellano, M. , H.W. Griepentrog, D. Reiser, and D.S. Paraforos.2016. 3-D imaging systems for agricultural applications—A review. Sensors 16:618-641.
    18. Viazzi, S., C. Bahr, T. van Hertem, A. Schlageter-Tello, C.E.B. Romanini, I. Halachmi, C. Lokhorst, and D. Berckmans.2014. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows. Comput. Electron. Agric. 100:139–147.
    19. Wei, J. , J.F. Reid, and S. Han.2005. Obstacle detection using stereo vision to enhance safety of autonomous machines.Trans. Am. Soc. Agric. Eng. 48:2389–2397.
    20. Yin, X. , N. Noguchi, and J. Choi.2013. Development of a target recognition and following system for a field robot. Comput. Electron. Agric. 98:17–24.
    21. Zhao, Y. , Y. Sun, X. Cai, H. Liu, and P.S. Lammers.2012. Identify plant drought stress by 3D-based image. J. Integr. Agric. 11:1207–1211.
    22. 농업과학기술 연구조사분석기준.2012. 농촌진흥청.