1. 서 론
현대의 무기체계는 기술들이 발전함에 따라서 시스템 구성도가 복잡해지고 기능은 첨단화 스마트화, 플랫폼화 되어가고 있는 추세이다. 이에 따라 무기체계 획득에 소요되는 개발비용, 생산비용, 운영유지비용도 증가하고 있다. 국방 예산은 제한적이기 때문에 계획단계에서부터 체계적이고 효율적으로 비용분석과 비용관리를 수행하여 연구개발 과정 중에 발생하는 불필요한 비용 상승을 최소화하거나 통제할 필요가 있다. 과거에 수행되었던 국내·외 무기체계 연구개발의 실패 사례를 통해서 볼 수 있는 것처럼 기술적인 문제로 개발 일정이 지연되고 기하급수적으로 소요 비용이 증가하여 사업이 실패한 사례도 볼 수 있다.[1][2] 그렇기 때문에 기획 및 개념단계에서부터 향후 사업의 불확실성을 감안하여 체계적으로 비용을 추정하고 사업 추진 단계별로 비용과 성능 간의 절충활동을 통하여 목표한 비용 내에서 성공적으로 무기체계가 획득되고 운영될 수 있도록 해야 한다. 하지만 무기체계 개발, 생산, 운영유지 기간 동안 발생한 정보와 비용 데이터들을 데이터베이스에 축적하여 미래의 유사 무기체계를 개발할 때에 활용 가능할 수 있도록 환경 조성과 제도적 지원이 필요하지만 현실적으로 이는 미흡한 실정이다. 이와 반대로 선진국은 과거에 수행했던 체계 개발 중에 발생한 정보와 비용 데이터를 데이터베이스에 축적하고 사례기반추론모델을 비용분석 전산모델과 연동하여 적극적으로 활용하고 있다. 대표적으로 방위산업과 항공우주 분야에서 사용 비중이 높은 SEER CostIQ라는 사례기반추론모델이 있다. SEER CostIQ는 16개 도메인과 120여 개의 체계 개발 사례가 축적된 데이터베이스가 탑재되어 있다. 이는 해당 체계의 사업 정보, 성능요구사항, 물리적 아키텍처, 비용데이터, 재료 물성치 등이 포함된 비용분석 전산모델 파일과 연동이 되어서 무기체계 연구개발 단계별로 비용분석을 효율적으로 수행할 수 있도록 지원하는 전산지원도구이다. 또한 도메인저작도구 기능을 탑재하고 있어서 새로운 무기체계의 설계·성능 요구사항 기준을 정립할 수 있고 새로운 도메인을 사용자가 직접 데이터베이스에 데이터를 축적할 수 있다는 장점이 있다. 최근 들어, 국내 방위산업 분야에서 활용 여부에 대한 관심이 높아지고 있다. 하지만 이를 활용하기에는 SEER CostIQ 데이터베이스에 축적되어 있는 국가별 무기체계 사례가 부족하고 국내 국방 무기체계 연구개발 과정에서 사례기반추론모델 적용 가능성에 대한 사례 검증이 되어 있지 않다. 따라서 본 연구에서는 사례기반추론모델에 탑재되어 있는 도메인저작도구를 활용하여 함정 무기체계 도메인 사례를 개발하였다. 나아가 국방 무기체계 연구개발 과정 중 소요기획단계 및 개념연구단계에서 사례기반추론모델의 활용 가능성을 확인하고 사례 검증을 하였다.
2. 본 론
사례기반추론은 과거에 있었던 사례들의 결과를 바탕으로 새로운 사례의 결과를 예측하는 기법 중 하나이다. 본 연구에서 활용한 사례기반추론 모델 SEER CostIQ의 수행 절차는 아래 [그림 1]과 같다.
도메인저작도구는 도메인과 저작도구의 합성어이다. 도메인은 무기체계의 분야를 뜻하며 저작도구는 객체 간의 관계를 설정하고 텍스트 등 관련 저작물을 만드는데 도움을 주는 프로그램을 뜻한다. SEER CostIQ 데이터베이스에 연계되어 있는 도메인저작도구는 사용자의 사용 편의성을 위해 설계자가 직접 체계의 설계·성능 요구사항 기준과 범위를 설정할 수 있도록 사용자 인터페이스 환경이 구성되어 있다. 도메인저작도구를 통해 사용자에게 개발 대상 체계와 유사성이 높은 체계를 추천해주기 위해서는 5가지 절차를 수행해야 한다. 첫째는 체계 분야 도메인을 선택하고 사용자가 이해할 수 있도록 입력한 도메인의 특징적인 내용을 작성한다. 둘째는 사용자가 개발을 목표로 하는 체계의 유사 체계를 분류하고 추천할 수 있도록 필수적인 설계·성능요구사항을 도출하고 기준을 설정한다. 셋째는 요구사항별로 우선순위와 가중치를 설정하여 계산식을 통해 사용자가 입력한 요구사항 기준과 범위에 유사한 체계를 정량적, 정성적인 값으로 사용자에게 추천할 수 있도록 설계한다. 넷째는 도메인저작도구에 탑재되어 있는 데이터베이스에 도메인의 무기체계의 사업 정보, 물리적 아키텍처, 비용데이터 등이 포함된 비용분석 전산모델 파일을 저장하고 사용자가 입력한 체계의 설계·성능요구사항과 전산모델 파일의 관계성을 연계할 수 있도록 해당 무기체계의 설계·성능 요구사항을 입력한다. 다섯째는 사용자가 비용분석 전산모델로 연동할 때 저장되어 있는 변수들에 대한 설정을 해야 한다.
본 연구에서 도메인은 기존 데이터베이스에는 저장되어 있지 않았던 함정무기체계 사례를 개발하였다. 함정무기체계 중에서도 수상함정무기체계로 분류되는 호위함, 수상함, 초계함을 중심으로 사례를 구축하였다.
사례기반추론모델을 활용하여 유사성이 높은 무기체계를 사용자에게 추천하기 위해서는 설계자가 해당 체계의 설계 성능 요구사항을 도출하고 기준을 정립해야 한다. 따라서 함정 무기체계 개발과 운영 경력을 보유하고 있는 전문가들을 대상으로 델파이 기법을 적용하여 호위함, 수상함, 초계함의 필수적인 설계 성능 요구사항이 무엇인지 도출하고 기준을 정립하였다. 또한 정량적으로 유사도를 계산하기 위해서 분석적계층화과정을 활용하여 델파이 기법을 통해 도출한 요구사항의 우선순위와 가중치를 도출하였다,
본 연구에서는 신뢰성 있는 답변과 결과를 도출하기 위해 2 함정 무기체계 개발과 운영 경험을 보유하고 있는 28명을 대상으로 두 달 동안 1차~3차 설문조사를 수행하였다. 전문가 선정 기준은 대표성, 적절성, 전문적 지식 능력, 프로젝트 경험 수준 등을 고려하여 선발하였다. 설문조사자 참여자 경력과 보유한 경력의 직무 분야는 아래 [표 1]과 같다.
본 설문조사의 응답률은 1차~3차 델파이를 포함하여 분석적계층화과정까지 28명을 대상으로 진행되었으며 목표표집인원 대비 실제 표집인원이 28명으로 응답률은 100%로 확인하였다. 아래 [표 2]는 28명의 응답률이다.
| 순 서 | 목표표집인원 | 실제표집인원 | 응답률 |
|---|---|---|---|
| 1차 델파이(개방형) | 28명 | 28명 | 100% |
| 2차 델파이(폐쇄형) | 28명 | 28명 | 100% |
| 3차 델파이(폐쇄형) | 28명 | 28명 | 100% |
| 분석적계층화과정 | 28명 | 28명 | 100% |
| 합계 | 28명 | 28명 | 100% |
28명의 전문가들을 대상으로 1차~3차 델파이를 조사하였다. 1차 델파이는 개방형 조사로 호위함, 수상함, 초계함 개발 시에 필수적으로 고려해야 할 설계·성능 요구사항은 무엇인가에 대해서 제약 조건 없이 설문조사를 수행하였다. 이를 통해 17가 지 항목을 도출할 수 있었다. 2차~3차 델파이는 1차 델파이 조사를 통해 도출된 17가지 항목을 바탕으로 폐쇄형 리커트 5점 척도 기반 중요도 도출을 위한 설문조사를 수행하였다. 또한 하위 요소 항목을 성실히 측정했는가에 대한 내용 타당도 비율(Content Validity Ratio, CVR)을 식(1)을 통해 계산하고 최소값 이하의 항목은 제거하였다. 내용 타당도 비율의 최소값은 28명을 반올림하여 30명 기준으로 설정하고 0.33 이하의 중요도 도출 값들은 삭제하였다.[3] 또한 도출 항목을 오차 없이 일관성 있게 측정하였는가에 대한 신뢰도는 식(2)를 통해 산출하였다. 아래 [표 3]은 2~3차 델파이 조사 결과이며 내용 타당도 비율이 기준치 이하로 도출된 시설, 지원 장비, 정비계획, 보급 항목을 삭제하고 도출된 신뢰도 값을 정리한 표이다.
델파이 기법을 통해 도출된 13가지 항목들을 중심으로 계층적 의사결정방법 이론을 적용하여 요구사항별 중요도와 가중치를 도출하였다. 도출된 설계·성능 요구사항들을 유사한 기능끼리 분류하고 계층화하여 중요도와 우선순위에 대한 전문가들의 주관적인 판단을 정량화하였다. 이어서 쌍대비교를 통하여 상대적 가중치를 측정하고 의사결정 요소들의 상대적 가중치를 종합하여 요구사항 요소의 가중치와 우선순위를 결정하였다. 아래 [표 4]는 식(3)을 통해 도출된 분석적계층화과정 결과값이다.
식(3)을 통해서 도출된 요구사항별 가중치는 [그림 1] 사례기반추론 과정에서 데이터베이스에 입력된 체계의 유사성을 정량적으로 계산하기 위해 식(4)에 대입한다.
식(4)에서 Score는 아래의 식(5)와 같으며 각 요구사항별로 가중치는 식(3)을 통해 도출된 가중치를 입력한다. 근접성은 0과 1 범위 사이에 존재하고 데이터베이스에 축적된 사례의 요구사항 값이 사용자의 요구사항 입력 값과 일치하면 ‘1’에 근접하고 그렇지 않으면 ‘0’에 근접한다.[4] 계산은 CostIQ 내부에 탑재된 계산식에 의해서 자동으로 설정된다.
전문가들의 델파이 결과로 도출된 함정 무기체계의 핵심 설계 성능 요구사항을 바탕으로 유사성이 높은 체계를 추천할 수 있도록 데이터를 축적한 데이터베이스를 구축하였다. 축적한 데이터는 국내·외 수상 함정 무기체계의 과거 사업 정보, 성능 요구사항, 재료 물성치, 재료, 수량 등을 비용분석 전산모델 파일들이다.
도메인 데이터베이스에는 35개국의 함정무기체계 183척(호위함 97척, 구축함 38척, 초계함 48척)을 축적하였다. 입력된 요구사항 중에서도 무장, 센서, 추진기관은 함정 무기체계에 탑재되는 종류가 다양하기 때문에 해당 요소들을 사용자가 선택할 수 있도록 모두 입력하였다. 아래 [표 5]는 요구사항별 입력된 요소의 개수이다.
도메인저작도구를 통해 개발한 함정 무기체계 사례 데이터가 사용자의 요구사항에 적합한 시스템을 추천할 수 있는지 사용적합성을 확인하기 위해 ‘호위함’을 대상으로 사례를 검증하였다.
사용자 요구사항 사례는 인터넷에 공개된 차기 한국형 호위함을 대상으로 하였다. [표 7]은 사례기반 추론모델에 입력한 차기 한국형 호위함 요구사항 성능이다.
[그림 1]은 차기 호위함 요구사항 성능을 사례기반 추론 모델에 입력하였을 때 사용자에게 공유되는 화면이다. 요구사항과 정량적으로 유사성이 높게 추천된 유사 호위함 체계의 일부는 다음과 같다. 한국의 FFX-2 CLASS는 69점, FFX-1 CLASS는 55점, KDX-1 CLASS는 42점이다. 독일의 DE ZEVEN PROVINCIEN CLASS는 40점이다. 터키의 YAVUZ(MEKO 200TN) CLASS는 40점이다. 이탈리아의 MAESTRALE CLASS는 39점이다. ANZAC CLASS는 38점으로 도출되었다. 이 외에도 90개의 호위함 체계가 계산식에 의해 정량적으로 계산되어 도출된 유사성 점수 순서대로 추천되는 것을 확인할 수 있었다. [그림 2]는 사례기반 추론 모델에서 추천된 유사성이 높은 7가지 함정 무기체계의 실제 배수량과 탑재장비 수량을 기준으로 정성적, 정량적 유사성 정도를 버블의 크기로 설정하여 시각화하였다.
사례기반 추론모델에서 [그림 1]과 같이 차기 한국형 호위함 요구 성능과 유사한 함정 체계를 추천하면 해당 함정 체계의 개발 사업 정보, 함정 데이터, 비용 데이터 등이 포함된 비용분석 전산모델과 연동이 되어 실시간으로 신속하게 비용을 추정할 수 있다. 아래 [그림 3]은 유사성이 높게 추천되었던 함정체계 사례 중 하나를 클릭하여 비용분석 전산모델로 연동한 실증 화면이다. 추천 함정체계의 물리적 아키텍처 기반으로 비용분할구조가 자동으로 생성되어 있고 개발 대상 호위함에 따라서 사용자가 수정이 가능하다. 비용분할구조 요소별 비용 추정에 필요한 기계, 전자, EOS, ASIC, FPGA 등의 변수, 사업 일정, 시제품·생산 수량, 노동 계수, 운영 유지 정보 등을 입력할 수 있도록 되어 있고 사용자의 개발 대상 체계 정보 입력에 따라서 실시간으로 비용분석 가능성 여부를 확인하였다.
3. 결 론
본 연구는 국내 국방 무기체계 소요기획 및 개념개발 단계에서 실무자가 사용 가능한 사례기반 추론모델인 SEER CostIQ의 활용 방안을 제시하였다. 선진국에서 사용 중인 SEER CostIQ는 120여개의 체계개발 사례가 축적된 데이터 베이스를 탑재하고 있다. 하지만 데이터베이스에 축적된 무기체계 사례가 부족하고 국내 국방 무기체계 연구개발 과정에서 적용 가능한지에 대한 사례 검증이 되어 있지 않았다.
따라서 본 연구에서는 CostIQ의 활용 가능성을 하기 위해 함정 무기체계 개발 및 운영 경험을 보유하고 있는 전문가 총 28명을 대상으로 델파이 기법과 분석적 계층화 과정기법을 적용하여 구축함, 호위함, 초계함을 중심으로 사례를 개발하였다. 사용자가 개발 대상 함정 무기체계의 요구 성능을 입력할 수 있도록 요구사항의 항목과 범위를 전문가들로부터 도출된 객관적인 결과 값으로 기준을 확립하였다. 또한 사용자가 입력한 요구사항 성능과 유사성이 높은 체계를 추천하기 위해서 CostIQ가 탑재하고 있는 데이터베이스에 35개국의 총 183척(호위함 97척, 구축함 38척, 초계함 43척)의 제원과 성능을 축적하였다. 이후에는 차기 한국형 호위함의 제원과 성능을 도출된 요구사항의 항목과 범위에 실제 입력하였고 정상적으로 유사 함정 무기체계가 사용자에게 추천되고 비용분석 전산모델과 연동되는지 확인할 수 있었다.
결과적으로 SEER CostIQ가 비용분석 전산모델인 SEER-H와 연동되어 사용자에게 해당 함정 무기체계 사업/체계 정보, 비용데이터 등을 제공하고 신속하게 개발비용, 생산비용, 운영유지비용 추정이 가능함을 확인하였다. 사례기반추론모델을 활용하여 국방기획관리제도 내에서 사용자에게 유사 체계의 정보와 데이터를 제공하고 신뢰성 있는 데이터를 기반으로 총 수명주기비용을 분석하는 환경이 구축될 수 있기를 기대하며 향후 연구에는 실제 데이터를 활용할 수 있는 기관과 협업하여 무기체계별 도메인을 개발하고 사례기반추론모델 적용 가능성에 관한 검증을 체계적으로 추진할 예정이다.
