서 론
아직도 전 세계 63개국의 무기고에 약 13만 5천개의 지뢰가 보관되어 있다. 러시아·우크라이나, 이스라엘·하마스처럼 아직도 전쟁 중인 국가들이 있고, 우리나라 또한 휴전 중이지만 과거에 묻힌 지뢰로 인한 피해는 계속해서 발생하고 있다. 특히 DMZ와 서해 민통선 지역, 한강 이남 지역의 여러 방공기지 등 지역에도 여전히 많은 지뢰가 매설되어 있다.
이러한 지뢰들은 군인뿐만 아니라 민간인들에게 자연재해 등으로 국민과 군의 안전에 위협적인 존재이다. 지뢰의 위험으로부터 국가 자산을 보호하기 위해 지뢰제거작전의 필요성은 예전부터 제기되어 왔다. 그래서 우리 군은 전국의 공병부대들을 통해서 지뢰제거 작전을 하고 있다. 그러나 군이 운용하는 주력 장비인 지뢰탐지기Ⅰ(PRS-17K)는 90년대 후반 도입되어 20년 이상 운용하고 있으며, 현재 발전된 기술에 비해 기능도 뒤처질 뿐만 아니라, 목함지뢰 등 비금속지뢰 탐지에 제한사항이 많다. 이에 우리 군은 22년부터 GPR (Ground Penetrating Rader) 지표투과레이더가 장착된 Fig. 1. 지뢰탐지기Ⅱ(PRS-20k)를 개발하여 전력화중에 있다. GPR이 장착된 지뢰탐지기Ⅱ는 기존 지뢰탐지기로 찾아내지 못했던 비금속지뢰 등을 탐지한 영상을 직접 눈으로 확인할 수 있어 탐지율이 향상되고 오경보율이 감소하는 등 작전에 큰 도움이 되고 있다. 우리나라에 설치되어있는 지뢰 종류는 우리나라의 대인지뢰 M14, M16과 대전차지뢰 M15, M19가 있고, 북한의 지뢰는 목함지뢰, 수지반보병 지뢰가 있다. 아직 존재하는 지뢰들이 많이 남아있고 계속해서 지뢰제거작전을 해야하는 우리 군은 병력이 감소하는 문제, 작전에 투입되는 시간 등에 대한 제한사항과 위험성에 직면하고 있다. 이에 따라 지뢰탐지기의 영상처리 분야에서 성능을 강화하고, 영상분류 등에 많이 사용되는 인공지능 기술을 접목한 GPR
연구에 박차를 가해야 하고, 실제 환경에서 탐지한 데이터뿐만 아니라 유사한 환경을 조성하여 데이터를 확보하는 등의 노력을 해야 한다. 그래서 본 연구에서는 실제와 유사한 환경을 조성한 시뮬레이션을 통해 데이터를 생성하고, 학습데이터로 사용하여 학습된 모델이 실제 환경에서 수집된 실제 지뢰 데이터를 구분할 수 있도록 하여, 미래 장비에 탐지 기술이 접목될 수 있도록 연구 방향 및 목표로 설정하였다.
현재 사용중인 지뢰탐지기에는 SD카드 등 메모리 카드가 장착되어 있지 않아 자체적으로 탐지한 데이터들을 축적할 수 있는 능력이 없고, 순간의 표적들만 탐지하고 일일이 수기 등으로 기록해야만 데이터 축적을 할 수 있다. 그래서 연구를 진행하기에 앞서 많은 데이터가 있으면 좋겠지만, 현실적으로 제한사항이 많다. 그래서 지표투과레이더 시뮬레이션을 통해 실제 지뢰가 땅속에 매설된 환경과 유사하도록 환경을 구축해서 데이터를 생성하는 것이었다. 시뮬레이션을 통해 지뢰가 있는 부분과 없는 부분에 대한 이미지를 생성해서 CNN 기반 경량 모델인 MobileNet으로 학습시켰고, 학습된 모델을 통해 실제 데이터를 식별하는지 검증했다. 실제 데이터는 육군 데이터랩에서 보유하고 있는 실제 지뢰에 대한 파형 데이터를 활용하였다.
지표투과레이더 시뮬레이션(gprMax)을 이용한 관련 연구, 지뢰 식별에 관한 연구 등 관련된 선행연구들과도 비교하여 봤을 때, 국내 지뢰에 관하여 시뮬레이션 데이터를 통해 학습하고 실제 데이터를 검증한 논문은 없었다. 시뮬레이션을 통해 생성된 데이터 활용 그리고 CNN 기반의 경량 모델인 MobileNet을 사용할 때 얼마나 효율적인 탐지를 할 수 있는지, 미래 우리 군에 적용할 수 있는지 가능성을 보고자 했다. 본 논문의 연구방법 및 절차는 Fig. 2.와 같다.
2. 본 론
GPR의 전자기파는 지하의 다양한 물체나 경계면에서 반사되거나 흡수된다. 반사된 신호는 안테나로 수신되고, 수신된 데이터는 시간에 따른 변화로 나타난다. 전파가 보내진 후 수신까지 걸린 시간은 지하물체까지의 거리에 비례한다. 시간-거리 관계를 분석하여 지하에서의 물체의 위치를 알아낼 수 있다. 이렇게 얻은 데이터는 A-Scan과 B-Scan으로 표현되는데. A-Scan은 단일 지점에서의 데이터를 나타내며, 특정 지점에서의 반사 시간을 통해 지하물체의 위치와 깊이를 평가한다. B-Scan은 GPR 시스템을 이동하면서 여러 지점에서 얻은 A-Scan 데이터를 나란히 배열하여 지하의 패턴이나 구조를 시각적으로 표시하는 데이터이다. B-Scan을 통해 넓은 지역에서의 지하 구조물, 지하 물체 등을 바로 확인할 수 있다. 이러한 GPR의 원리를 활용하면 지하 구조물을 탐지하고, 지하 환경을 조사하는 데 유용하다는 정보를 얻을 수 있다.
gprMax는 GPR을 시뮬레이션 하기위해 사용되는 소프트웨어이다. gprMax는 실제 탐지를 하면서 발생할 수 있는 문제점 등을 최소화하고, 다양한 지하 환경에서 및 지하물체를 다양하게 탐지할 수 있는 시뮬레이션으로 지하탐지 분야에서 많이 사용되고 있다. 실제 데이터 수집간 투입되는 많은 인력, 시간을 소비하지 않고 데이터를 획득할 수 있다. 그래서 본 연구에서도 gprMax 시뮬레이션을 활용하게 되었다. 시뮬레이션 데이터 생성 환경은 Table 1.과 Table 2. 세부 환경 수치들로 설정하고 진행하여 Fig. 4. 와 같이 지면(땅), 지하토양, 토양 내 위치하는 지뢰, 안테나(GPR)로 구성이 된다. 레이다 신호를 방사하는 안테나는 지면에서 5cm 위에 위치하여, Y축 방향으로 일정 간격만큼 이동하면서 토양(지하)에 대해 A-scan을 진행하여. Fig 4.의 오른쪽 이미지처럼 B-scan을 생성하게 된다.
시뮬레이션이 진행되는 동안 안테나의 위치와 움직이는 거리는 Fig. 4. 의 Central point of antenna pair 구간으로 설명된다. 지뢰는 종류별(대인 M14, M16 / 대전차 M15, M19 / 수지반보병, 목함지뢰)로 크기와 물리적 성질 등을 실제와 같은 값들로 설정하여 시뮬레이션을 진행하였다. A-scan이 진행됨에 따라서 B-scan 이미지 데이터에서 반사 파형들이 잘 나오는지 확인하였고, 지뢰가 있는 것과 지뢰가 없는 이미지들을 각각 150장씩 생성하여 총 300장의 B-scan 이미지를 생성했다. 최대한 다양한 결과를 생성하기 위해 표에서 명시한 환경 범위 내에서 무작위로 실행되었다. 그리고 생성데이터들은 MobieNet에 최적화된 크기인 224 × 224로 조절했다.
실제 데이터는 육군 교육사에서 공병학교와 함께 전투실험을 통해 수집된 5가지 지뢰 종류별 데이터 783개를 육군 데이터랩에서 획득하였다.
본 연구에서는 시뮬레이션과 비슷한 조건의 데이터가 필요했기에 부엽토, 수풀 등에서 획득한 데이터, 매설 깊이가 10cm이상, 각도가 45도, 90도로 설정하여 획득한 데이터는 제외하고 시뮬레이션 환경과 실험 조건이 비슷한 150개의 데이터를 선별했다. 실제 데이터 환경조건은 Table 3과 같다.
| Real Data Environment | ||||
|---|---|---|---|---|
| soil | depth | angle | speed | Detection height |
| sandy soil | 5 ~ 10 cm | 0도 | 0.5m/s ~ 0.5m/s | 0cm ~ 5cm |
합성곱 신경망은 이미지나 영상과 같이 격자형 데이터를 학습하고 처리하는 기술로 최근 컴퓨터 비전 분야에서 많이 연구되는 딥러닝 알고리즘이다. CNN의 주요 특징은 합성곱 계층을 통해 입력 데이터의 계층적인 표현을 자동으로 학습할 수 있고, 이러한 계층은 입력 데이터에 학습 가능한 필터 집합을 적용하여 지역적인 특징을 추출하고 공간적인 관계를 보존할 수 있다. 이를 통해 CNN은 데이터 이미지의 의미 있는 패턴과 구조를 포착할 수 있다. CNN의 강점은 원시 시각적 데이터에서 관련된 특징을 자동으로 추출할 수 있는 능력에 있으며, 이미지 인식, 물체 탐지와 같은 작업에서 좋은 성과를 보여주고 있다.
MobileNet은 소형기기 위주로 적용하기 위해 경량화된 알고리즘이다. 경량화 기법인 컨볼루션 및 깊이별 분리 규모별 분해는 모델의 파라미터 수를 줄이면서, 연산량을 최소화하여 작은 모델 크기와 높은 추론 속도를 제공한다.
기존 Convolution 연산을 2단계로 나눠 진행하는 Depthwise Convolution로 구성된다. Standard Convolution은 입력 데이터의 모든 채널에 동일한 필터를 적용하여 새로운 맥을 생성하지만, ‘Depthwise Convolution’은 각 입력 채널에 대해 개별적인 필터를 적용했다. 그렇게 얻은 특징 맵들을 ‘Point Convolution’을 사용하여 조합했다. 이렇게 함으로써 모델은 입력 데이터의 각 채널에 대한 특징을 독립적으로 추출한 다음 채널의 특징을 조합해서 출력한다.
| Model | Parameters | Million Mult-Adds | ImageNet Accuracy |
|---|---|---|---|
| MobileNet | 4.2 | 569 | 70.6 |
| Inception v3 | 23.8 | 5,700 | 77.9 |
| VGG 16 | 138 | 15,300 | 71.5% |
학습된 MobileNet에 시뮬레이션 데이터를 학습시켰다. 생성된 이미지 데이터 300장을 학습데이터로 사용하고 테스트 데이터는 실제데이터 150장으로 진행하였다. MobileNet은 일반적으로 초기에 고수준의 특징을 추출하기 위해 훈련되었다. 그래서 당연히 연구에서는 파인튜닝 기법이 아닌 특징추출 방법을 사용한다. 파일의 개수가 상대적으로 적다고 생각했고, 파인튜닝은 과적합의 위험이 크고 주어진 데이터에 과도하게 적응하여 데이터에 일반화가 어려워지기 때문에, 이미 학습된 모델에서 나온 중간 특징을 사용하는 특징추출이 우리의 Bscan 이미지에서 중요한 패턴과 특징을 추출하는데 더 효과적일 거라 판단했다. 게다가 특징추출이 파인튜닝에 비해 상대적으로 계산 리소스를 적게 사용하여 빠른 진행에 도움 되리라 생각했다. 학습된 MobileNet 모델을 이용해 실제 지뢰탐지 환경에서 우수한 성능을 낼 수 있도록 모델을 세밀하게 조정해서 진행했다. 결과는 Table 6와 같이 나왔고, 식별했을 때 모습의 이미지는 Fig 6.와 같다.
Fig. 6. 는 모델의 정확도 곡선이다. 그래프 가로축은 epoch의 수를 나타내며, 세로축은 정확도를 나타낸다. 클래스별 75개 중 평균 2-3개 정도 수준의 오분류가 있었고 그 이미지들은 파형의 차이나 이미지에서 파형이 조금 흐리게 나타났다.
초기 0-5회 사이에 급격하게 정확도가 증가하는 것으로 보아 초기 데이터에 대해 학습하면서 기본적인 이미지의 패턴과 특징이 잘 파악된 걸 알 수 있다. 모델의 분류 정확도는 점차 95% 부근으로 수렴하려 했고, 결국 마지막에는 97.35 %까지 수렴하는 것을 볼 수 있었다. 수렴성과 안정성을 보았을 때 모델이 데이터 패턴을 잘 학습하여 분류한 것으로 보았다.
Fig. 7. 은 모델의 손실함수를 나타내며, 초반에 급격하게 감소하는 구간이 있는데, 초기 감소는 모델의 데이터의 기본적인 패턴을 빠르게 학습하고 높은 민감도로 특징을 파악했다고 볼 수 있다. 15회-20회 이상부터는 손실값이 안정되는 모습을 볼 수 있었는데, 이는 패턴을 학습하며 점진적으로 최적화되고 있다는 것을 보여준다.
이로서 시뮬레이션 데이터를 이용하고 인공지능 모델을 군에 접목하여 지뢰를 탐지할 시에 실효성이 높고 접목 가능성을 알 수 있었다. 시뮬레이션으로 생성한 데이터로 학습된 모델이었지만 실제 지뢰와 같은 특성을 잘 파악하여 실제 지뢰 데이터를 분류할 만큼 데이터를 잘 학습한 모델이라 볼 수 있다. 물론 데이터도 중요하겠지만 이런 학습 능력에 따라 좋은 결과를 가져올 수 있는 모델이라면 충분한 가능성을 보았다고 생각한다.
4. 결 론
본 논문에서는 gprMax 시뮬레이션을 활용해 생성한 데이터를 기반으로 경량 모델인 MobileNet을 학습시켰고, 학습한 후에 육군 데이터 랩의 실제 데이터를 검증, 평가에 사용한 결과 97.35%의 식별 정확도를 보이며 지뢰탐지와 인공지능 기술 결합에 대한 가능성을 볼 수 있었다.
전장 상황 특성상 고성능의 기기 환경에서 딥러닝 등 다양한 활동이 제한되기 때문에 실제로 가능할 만한 경량의 모델을 사용했으며, 실제 환경에서 지뢰를 탐지하여 데이터 수집하고 판단하기 위해서는 많은 시간과 인력투입이 들어간다. 그리고 작전 진행 간 사고 발생 가능성, 노후화된 장비로 인한 작전 효율성 감퇴, 국가적 문제면서 우리 군의 문제인 점차적인 출생률 감소로 인한 군인의 숫자 감소 등의 여러 가지 문제점들을 해결하기 위해 이번 연구를 진행했다.
이번 연구에서는 실제와 동일한 환경에서 생성한 시뮬레이션 데이터와 동일한 환경에서 획득한 실제 데이터만 학습에 포함 시켜 진행하였다. 매설깊이 5cm, 안테나 위치는 지면에서 5cm, 토양은 사질토 등으로 명확하게 선정했고 원활한 연구 진행을 위해 다른 환경조건을 배제 시켰다. 토양에 따라 세부 수치가 다르고, 깊이와 구성 물질에 따라 안테나 오류 등 제한사항으로 더 많은 상황에 대한 환경구성이 조금 부족하다고 생각했다. 그래서 향후 연구로 1) 다양한 환경(지뢰가 매설되어있는 매질의 다양성 등)에 대한 정보를 더 많이 수집해서 시뮬레이션으로 구현되도록 하고, 데이터를 생성하여 연구를 진행할 필요가 있다. 2) 현재 연구에서처럼 지뢰를 식별하는 것을 넘어 인간의 개입 없이 무인으로 지뢰의 종류가 분류되는 의사결정까지 가능하도록 기술 접목연구가 계속되면 좋겠다. 3) 향후 미래전에서 공병은 재래식 지뢰보다는 살포식 지뢰 무기체계로 변화하는 양상이다. 살포식 지뢰들은 재래식 지뢰처럼 토양 밑에 묻히지 않고, 도로나 흙 등의 표면에 배치되는 모습이 많을 것이다. 그래서 향후 미래전에 대비하여 살포식 지뢰들에 대한 데이터도 학습되어 비슷한 방식으로 연구될 수 있도록 데이터를 생성하고 지속해서 데이터를 구축해야 할 것이다.
미래에도 필요한 지뢰탐지 작전을 하기 위한 군의 제한사항(병력 감소, 장비쇠퇴, 필수적 인력, 사고 발생 등) 들을 조금이나마 해소하고자 시뮬레이션 데이터와 인공지능(딥러닝 기술)을 효과적으로 적용하는 가능성을 보고자 한다. 시뮬레이션 데이터로 학습된 모델이지만, 실제 지뢰와도 같은 특성을 정확하게 파악하여 실제 데이터를 효과적으로 식별할 수 있음을 확인했다. 이러한 결과는 군사 응용 분야에서의 적합성을 시사하며, 본 연구의 결과가 지뢰탐지 기술 발전에 밑바탕이 될 수 있길 기대한다.
