1. 서 론
전쟁발발 초기 군비행장과 민간비행장 활주로는 적군의 미사일 공습의 최우선 목표 중 하나가 되고 피습된 활주로에 다양한 크기의 폭파구가 형성되는 동시에 폭발하지 않은 많은 불발탄이 잔재하게 된다. 이를 해결하기 위한 기존 비행장 피해분석 기술에 따르면, 이동식 차량에 탑승한 조사자의 육안 관측 및 줄자 측정에 의존하는 정찰반에 의한 불발탄 및 폭파구 수동 측량, 무전으로 폭파구의 크기와 위치를 시설통제실에 전달하여 도식화 또는 도면화 한 후, 시설 통제실에 의한 폭파구 분류 및 최소운영활주로(Minimum Operating Strip, MOS) 수동 선정, 피해 복구반에 의한 활주로 보수(피해복구) 과정이 순차적으로 이루어진다. 활주로 보수작업은 토공조가 폭파구 주위 파편을 제거하는 동안, 포설조는 폭파구를 덮기 위한 매트를 조립하고 운반조와 포설조가 조립된 매트를 폭파구로 견인 및 활주로에 고정시키는 데 제한시간 내에 피폭된 활주로를 완벽히 복구시켜야 한다. 전시 피폭된 활주로의 신속한 복구는 제공권 장악의 성패를 좌우할 수 있는 중요한 작전이자 피폭된 활주로의 정상화는 영공수호의 전제조건이 된다. 그러나 기존 기술은 불발탄 및 폭파구의 수동 측량 과정으로 인해 작업시간이 오래 소요되고, 기준점이 소실될 가능성이 높을 뿐 아니라 비행장이 적의 공격으로 피해를 받았을 경우 이착륙을 위해 복구해야 하는 최소한의 면적이며 임무, 진입로, 가용 자원 및 복구 예상 시간에 의해 결정되는 최소운영활주로(MOS) 수동 선정으로 인해 부정확한 결과가 도출될 수 있고 최적화하기 어려운 문제점이 있으며, 활주로 보수 과정에서 정보 오전달로 의한 2차 작업 가능성이 존재한다. 최소운영활주로(MOS)는 전시항공작전의 비행장 능력을 평가하는 핵심적인 요소이기도 하다. 이러한 육안 조사의 문제점을 해결하기 위해 고정형 FOD(Foreign Object Debris) 탐지 시스템을 적용할 수 있으나 비행 안전문제로 활주로 주변에 고정형 타워 설치 자체를 선호하지 않다는 문제점이 있다. 본 연구는 전술한 문제점을 해결하기 위하여 제안된 것으로, 스테레오 이미징 기법을 활용한 드론 촬영영상과 인공지능 알고리즘, 포인트클라우드 생성을 위한 SfM(Structure from Motion) 알고리즘 기반으로 전시 긴급 비행장 피해분석 및 비행 포장면 피해복구 자동화 시스템을 개발하는데 그 목적이 있다.
2. 관련 연구
본 절에서는 UAV(Unmanned Areal Vehicle)을 활용한 공항활주로 또는 공항시설물의 유지관리에 관한 논문을 조사하였다. 조사범위는 2015년 이후에 발간된 논문을 대상으로 하였으며 활주로 파노라마 제작, 포인트클라우드 제작, FOD 및 손상 검출, 불발탄 및 폭파구 검출 주제의 논문을 조사하였다.
Rebecca Sappington 등은 2019년 “Drone Stations in Airports for Runway and Airplane Inspection Using Image Processing Techniques”란 논문[1]에서 UAV의 다양한 유형을 고려하고 균열 식별을 위해 UAV을 사용하여 공항 활주로를 모니터링하고 장시간 UAV 운영을 위한 UAV 도킹 및 충전 스테이션을 제안하였다.
YUAN Zhong-da 등은 2020년 “Research on FOD Detection System of Airport Runway Based on Artificial Intelligence”란 논문[2]에서 광학 센서를 사용하여 공항 활주로 이미지를 실시간으로 모니터링하고 인공지능 기반으로 FOD 감지를 수행하되 이물질 발견 시 ROI 영역을 별도로 분석하여 이물질의 패턴 특징을 추출하는 컴퓨터 비전 알고리즘을 개발하였다.
Haoyu Xu 등은 2018년 “Foreign object debris material recognition based on convolutional neural networks”란 논문[3]에서 전이 학습과 심층 컨볼루션 신경망(D-CNN) 모델을 개발하고 FOD 이미지 데이터 세트를 구축하였다. 상하이 훙차오 국제공항의 활주로를 대상으로 하였으며 활주로의 특성을 고려하여 D-CNN의 아키텍처를 최적화하였고 결과는 제안된 접근 방식이 정확도를 향상시킬 수 있음을 보여주었다.
ZHONGCHENG GUI 등은 2020년 “A DEEP NEURAL NETWORKS APPROACH FOR PIXEL-LEVEL RUNWAY”란 논문[4]에서 U-Net이 제한된 FMA 훈련 이미지로도 FMA 테스트 데이터에서 잘 수행됨을 보여 주며, 이는 우수한 일반화 능력과 공항 활주로 및 고속도로 포장 모두에 사용될 가능성이 크다는 실험결과를 보여주었다.
Sophie ten Zeldam 등은 2018년 “Automated Failure Diagnosis in Aviation Maintenance Using eXplainable Artificial Intelligence (XAI)”란 논문[5]에서 메인터넌스와 사용 데이터를 결합한 데이터 기반 접근 방식을 사용하여 모델또는 하위 시스템이나 구성 요소에 대한 물리적인 이해 없이 사용자에게 추론 이유를 제공하는 새롭게 제안된 설명가능 인공지능 즉 XAI(eXplainable AI)를 이용해 FDE(고장 진단 설명 가능성)을 제공하는 연구를 수행하였다. 또한 투명성과 해석 가능성을 제공하는 모델진단을 평가하여 신뢰기반의 인공지능 모델의 상용화 가능성을 보여주었다.
Lidija Tomić 등은 2020년 “RUNWAY PAVEMENT INSPECTIONS USING DRONE-SAFETY ISSUES AND ASSOCIATED RISKS”란 논문[6]에서 드론이 항공교통에 미칠 수 있는 영항을 분석하고 사고 인과모델을 4가지로 분류하고 서로 다른 시나리오를 구축하였다. 또한 활주로 검사에서 드론 적용 프로젝트가 유발할 수 있는 안전상의 위험요인을 도출하고 식별된 위험을 기반으로 상세한 SWOT 분석을 실시하였다. 공항을 위한 이 새로운 드론 기술의 구현이 시연되었으며 공항시설물 유지관리를 위한 드론의 상용화 가능성을 보여주었다.
3. 연구 방법론
본 절에서는 UAV 기반 매핑 기술을 활용한 긴급 비행장 피해분석 시스템을 고안하기 위해 기존의 육안조사 기반 비행장 피해분석 기술을 작업과정을 분석하였다.
기존 방식은 그림 1과 같이 이동식 차량에 탑승한 정찰반 소속 조사자가 육안 관측 및 줄자 측정 등 수동 측량을 통해 취득한 불발탄 및 폭파구에 대한 아날로그 데이터를 무전으로 시설통제실에 전달한 후 도식화 또는 도면화 과정을 거처 폭파구 분류 및 최소운영활주로(Minimum Operating Strip, MOS) 수동 선정을 하게 된다. 이 결과를 토대로 피해 복구반에 의한 활주로 보수(피해복구) 과정이 순차적으로 이루어지는데 활주로 보수작업은 토공조가 폭파구 주위 파편을 제거하는 동안, 포설조는 폭파구를 덮기 위한 매트를 조립하고 운반조와 포설조가 조립된 매트를 폭파구로 견인 및 활주로에 고정시키는 데 제한시간 내에 피폭된 활주로를 완벽히 복구시켜야 한다.
그러나 기존 기술은 불발탄 및 폭파구의 수동 측량 과정으로 인해 작업시간이 오래 소요되고, 기준점이 소실될 가능성이 높을 뿐 아니라 비행장이 적의 공격으로 피해를 받았을 경우 이착륙을 위해 복구해야 하는 최소한의 면적이며 임무, 진입로, 가용 자원 및 복구 예상 시간에 의해 결정되는 최소운영활주로(MOS) 수동 선정으로 인해 부정확한 결과가 도출될 수 있어 활주로 보수 과정에서 정보 오전달로 의한 2차 작업 가능성이 존재한다.
본 연구를 통해 기존 육안조사 기반의 활주로 피해분석 방식의 단점을 보완하고 한계를 극복하기 위해 다음과 같이 다섯 가지 목표를 정하였다.
-
① 아날로그 데이터의 디지털화
-
② UAV 매핑기술을 이용한 2D 이미지의 파노라마 자동 생성
-
③ SfM 기법을 이용한 포인트 클라우드 자동 생성
-
④ 인공지능 기반의 자동 탐지 및 정량화
-
⑤ 알고리즘 기반의 도면 및 보고서 자동 작성
그림 2에 제시된 바와 같이 본 연구를 통해 개발한 UAV 매핑 기술을 활용한 긴급 활주로 피해분석 시스템은 전 과정에서 디지털 데이터를 활용하고 사용자의 개입 없이 영상 분석의 전 과정이 자동화된 프로세스로 진행된다는 특징이 있다.
특히 2D 이미지의 파노라마 자동 생성과 포인트 클라우드 자동 생성은 전시상황이라는 점을 고려하여 매우 빠르게 결과를 도출할 필요가 있다. 2D 이미지의 파노라마 자동 생성은 특징점 추출 후 매칭 알고리즘(Surf 등) 방식과 GPS-rtk 좌표기반 방식이 있는데 본 연구에서는 빠른 정합속도를 얻기 위해 후자를 사용하였다. SfM 기법을 이용한 포인트 클라우드 자동 생성은 스테레오(Stereo) 카메라를 이용해 UAV 영상촬영을 한 후 즉시성을 확보하는 방법과 단일(Single) 카메라를 이용해 활주로면을 50% 정도 중첩 촬영하는 방식을 통해 SfM 기법으로 포인트클라우드를 사용하는 방법 둘 다를 적용해 보았다. 스테레오(Stereo) 카메라 방식은 전시상황이라는 점을 고려할 때 즉시성이라는 강력한 장점이 있지만 카메라 모듈의 무게로 인해 촬영각도 유지를 위한 짐벌의 설치가 어려우므로 UAV가 바람의 영향을 받거나 비행속도가 변화되는 구간에서 포인트클라우드의 품질을 보장하기 어렵다는 단점이 있다. 반면 단일(Single) 카메라 방식은 SfM 알고리즘 특성상 즉시성을 확보할 수 없지만 경량 카메라 모듈로 인해 촬영각도를 최적으로 유지하는 짐벌 설치가 가능하므로 UAV가 바람의 영향을 받거나 비행속도가 변화되는 구간에서도 우수한 포인트클라우드 품질을 보장할 수 있다.
보안 및 안전상의 이유로 군공항 활주로 또는 민간공항 활주로에서 영상취득을 위한 UAV 촬영승인을 득하는 것이 현실적으로 어렵고 행정시간이 매우 오래 걸린다. 따라서 본 연구를 위해 공항활주로 포장면 촬영 전문 모듈을 개발하였고 그림 3과 같이 당사가 보유하고 있던 주행중 영상촬영장치 상단에 부착하여 영상 촬영을 실시하였다.
군부대와 민군협력진흥원의 협조를 통해 2개의 군공항 활주로에 진입하여 활주로 포장면의 영상(4K급 고해상도)의 취득하였다.
개발된 UAV 촬영장치와 인공지능 알고리즘의 성능을 확인하기 위해 요구사항을 충족하는 테스트베드를 구축하였다. 테스트베드 또한 보안 및 안전상의 이유로 군공항 활주로 또는 민간공항 활주로에서 테스트를 위한 UAV 촬영승인을 득하는 것이 현실적으로 어려우므로 활주로의 연장과 폭이 유사한 남서울대학교 드론 교육원(충남 천안시 서북구 성환읍 대학로 91) 인근 도로에서 테스트를 실시하였다.
테스트베드 구축시 연구목표에 따라 30분 내에 MOS를 출력하는지 확인할 수 있도록 그림 5와 같이 단계별 계획을 수립하였으며 각 단계별 소요시간을 예측하였다.
테스트베드 구축을 위해 불발탄의 배치가 필요한데 안전상의 이유로 실물을 배치할 수 없으므로 그림6 및 그림7과 같이 적국(북한, 이란, 러시아 등)의 미사일의 3D 외관 도면을 입수하여 2~5:1 스케일로 축소모형을 제작하였다. 재질은 스티로폼을 이용하였으며 레이저가공으로 정밀도를 높였고 실제 미사일과 유사하게 보이도록 도장을 실시하였다. 제작에 사용된 탄도미사일 모델은 SCUD-B(길이 11.2m, 직경 0.88m), Kn-02(길이 6.4m, 직경 0.65m), Kn-23(Iskander, 길이 7.3m, 직경 0.92m), DF-21(길이 10.7m, 직경 1.4m), JL-2(길이 10.0m, 직경 2.0m) 이다.
또한 테스트베드 구축을 위해 소형 폭파구와 대형 폭파구가 필요한데 안정상의 이유로 실물을 구축 및 배치할 수 없으므로 그림7과 같이 대형 폭파구 1종 소형 폭파구 1종을 축소모형으로 제작하였다. 재질은 EPS(스티로폼)을 이용하였으며 레이저가공으로 정밀도를 높였고 실제 폭파구와 유사하게 보이도록 수작업을 통해 표면을 거칠게 표현하였으며 포장면의 색과 유사하도록 페인팅을 진행하고 콘크리트 파편도 제작하였다. 폭파구의 크기가 크므로 5톤 플러스 규모의 대형 트레일러를 이용해 현장까지 운반하였으며 대형 폭파구의 경우 조립 및 해체가 용이하도록 23개의 피스와 별도 파편 6개 피스로 총 29피스로 제작하였다.
테스트베드 구축시 그림 9와 같이 남서울대학교 드론 교육원 인근 도로에 대형 폭파구, 소형 폭파구, 불발탄을 다양한 위치와 다양한 각도로 배치하여 UAV 영상촬영을 실시하였다. UAV 영상촬영은 테스트 촬영을 포함하여 총 10회 실시하였으며 영상품질이 양호한 4개 케이스에 대한 데이터를 영상분석에 활용하였다.
불발탄 및 폭파구 검출을 위한 인공지능 모델 선정시 연구목표인 검출정확도 90% 이상 그리고 48시간 이내의 대규모 군공항 활주로의 영상처리 완료를 달성하기 위해 검출정확도와 속도를 트레이드오프(trade off)할 수 있는 전략을 수립하였다. 포인트클라우드에 포함된 객체를 높은 정확도를 검출할 수 있는 대표적인 AI 모델은 PointNet과 PointNet++가 있지만 검출속도가 느리므로 상용화를 기반으로 한 연구에는 적합하지 않다고 판단하였다. 따라고 본 연구에서는 포인트클라우드 객체검출 정확도를 크게 훼손시키지 않으면서 검출속도를 Semi-Real Time 수준으로 향상시킬 수 있는 PointCNN을 적용하였다. 단, PointCNN 한가지로는 높은 검출성능을 기대할 수 없으므로 YOLOv3와 합성한 앙상블(Ensemble) 네트워크를 새롭게 구축하여 실험을 진행하였다.
4. 실험 결과 및 분석
불발탄 및 폭파구 검출을 위한 인공지능 모델의 인퍼런싱 결과 연구목표인 검출정확도 90%를 만족하는 결과가 도출되었다. 불발탄 객체수량 40개, 폭파구 객체수량 16개에 대해 실험한 결과 PointCNN과 YOLOv3를 합성한 앙상블(Ensemble) 네트워크는 검출율 100%라는 높은 성능을 보였다.
단, 이 실험결과는 개별 객체검출 유무를 판정하는 임계값(threshold)을 0.5로 설정했을 경우이며 임계값을 0.8로 할 경우 검출정확도는 저하될 수 있다.
참고로 이 실험결과는 트레이닝셋에 대한 결과이므로 공항활주로가 변경되고 불발탄과 폭파구의 위치 및 배치가 달라졌을 경우 동일한 성능이 발휘된다고 보장하는 것이 아니다.
향후 후속연구를 통해 데이터셋 규모를 1000개 이상(객체 기준)으로 증가시키고 일반적인 AI 모델 개발 방법론처럼 트레이닝셋, 검증셋, 테스트셋의 비율을 70:15:15로 설정하고 테스트셋에 대한 검출성능(Precision, Recall, F1-Score)이 모두 90% 이상이 되도록 연구할 계획이다.
5. 결 론
전쟁발발 초기 군비행장 활주로는 적군의 미사일 공습의 최우선 목표가 되고 피습된 활주로에 다양한 크기의 폭파구가 형성되는 동시에 폭발하지 않은 많은 불발탄이 잔재하게 된다. 그동안 육안조사 기반의 기존 비행장 피해분석 기술을 이용해 왔으나 기존 기술은 불발탄 및 폭파구의 수동 측량 과정으로 인해 작업시간이 오래 소요되고, 기준점이 소실될 가능성이 높을 뿐 아니라 MOS(Minimum Operating Strip) 수동 선정으로 인해 부정확한 결과가 도출될 수 있고 최적화하기 어려운 문제점이 있었다. 이러한 육안 조사의 문제점을 해결하기 위해 본 연구는 드론 촬영영상과 인공지능 알고리즘, 포인트클라우드 생성을 위한 SfM(Structure from Motion) 알고리즘 기반으로 전시 긴급 비행장 피해분석 및 비행 포장면 피해복구 자동화 시스템을 개발하였다.
연구를 통해 불발탄 및 폭파구 검출을 위한 인공지능 모델의 인퍼런싱 결과 연구목표인 검출정확도 90%를 만족하는 결과가 도출되었다. 불발탄 객체수량 40개, 폭파구 객체수량 16개에 대해 실험한 결과 PointCNN과 YOLOv3를 합성한 앙상블(Ensemble) 네트워크는 검출율 100%라는 높은 성능을 보였다. 단, 이 실험결과는 개별 객체검출 유무를 판정하는 임계값(threshold)을 0.5로 설정했을 경우이며 임계값을 0.8로 할 경우 검출정확도는 저하될 수 있다.
참고로 이 실험결과는 트레이닝셋에 대한 결과이므로 공항활주로가 변경되고 불발탄과 폭파구의 위치 및 배치가 달라졌을 경우 동일한 성능이 발휘된다고 보장하는 것이 아니다.
향후 후속연구를 통해 데이터셋 규모를 1000개 이상(객체 기준)으로 증가시키고 일반적인 AI 모델 개발 방법론처럼 트레이닝셋, 검증셋, 테스트셋의 비율을 70:15:15로 설정하고 테스트셋에 대한 검출성능(Precision, Recall, F1-Score)이 모두 90% 이상이 되도록 연구할 계획이다.
