국방 무기체계 시험평가 수행체계 개선방안 연구

국방획득체계는 1972년 최초로 도입되어 방위사업청 창설(’06. 1월)과 함께 지속적인 제도개선을 통해 변화되어왔다. 방위사업청 창설 이전에는 국방부가 기획·계획·예산·집행·평가체계(PPBEES)⁴⁾에 따라 소요·획득·운영유지 및 예산의 모든 과정을 직접적으로 통제해 각 군과 함께 획득업무를 수행해 왔다. 2003년 출범한 노무현 정부는 획득체계를 둘러싸고 파생되는 다양한 문제들–비용 초과, 성능결함, 전력화 지연, 부패 등–을 개선하기 위해 ‘정부조직법’(법률 제7613호, ’05.7.22. 공포)을 개정하였다. 2006년 1월 국방부 및 각 군의 획득 관련 8개 기관을 통합한 단일 획득조직인 방위사업청이 개청되었다. 방위사업청 개청 이후부터 국방부, 방위사업청, 합참, 각 군간 업무조정은 지속적으로 이루어져 왔다. 현재 소요·중기계획 작성·시험평가·운영유지는 국방부·합참·각 군에서, 예산편성·계약·사업관리·양산 및 배치는 방위사업청에서 수행하고 있다^[2].

현 국방획득 제도는 방위사업청 개청('06. 1. 1.) 이후 방위사업 추진의 투명성, 효율성, 전문성이 제고되고, 획득업무의 수행기반이 공고해졌다. 반면, 사업관리 절차의 복잡성과 폐쇄성으로 인하여 무기체계 획득이 장기화되고 전력화 지연에 대한 우려가 제기되고 있다. 이는 방위산업의 투명성, 전문성에 중점을 둔 정책추진으로 신속성과 효율성이 결여되었다는 평가를 받고 있다. 또한, 결과의 완전성 보장을 위한 세밀한 점검과 평가에 대한 지속적인 요구가 상존하고 있다. 4차 산업혁명의 시대, 첨단 과학기술 강군 육성을 위해서는 획득 프로세스의 전면적인 보완이 필요한 시점이다.

방위력개선사업 추진은 획득방법에 따라 연구개발사업과 구매사업으로 구분된다. 표 2와 같이 연구개발사업은 기획-계획-체계개발-최초양산-후속양산 순으로 진행되며, 총 19단계중 체계개발 단계가 7개로 가장 많다. 구매사업은 기획-계획-기종결정-최초구매-후속구매 순으로 진행되며, 총 16단계 중 기종결정 단계가 6개로 가장 많은 비율을 차지하고 있다.

사업추진 기간 측면에서 무기체계 연구개발사업 총 45개 사업⁵⁾을 대상으로 분석한 결과 그림 1과 같이 소요결정으로 부터 최초 전력화까지는 16.8년이 소요되었다. 전력화 완료까지는 23.7년이 소요되는 것으로 분석되었다. 이는 기획·계획단계에서 소요결정부터 사업타당성조사 등 9.5년으로 과다하게 소요되고 있다. 전력화 완료까지는 약 24년이 소요되어 기술의 진부화 문제가 제기되는 등 제도적 개선이 필요하다.

그림 1. | Fig. 1. 무기체계 연구개발사업 추진 기간^[5] | weapon system R&D project promotion period

Download Original Figure

시험평가(T&E)는 무기체계 개발 및 획득과정의 한 분야로 해당 무기체계에 대해 성능, 기술, 품질, 운용관리 측면에서 제반 요구조건 및 개발목표의 충족 여부와 운용적합성, 효율성 등을 확인 검증하는 절차다^[6]. 시험평가는 일반적으로 개발시험평가(DT&E, Developement Test & Evaluation)와 운용시험평가(OT&E, Operation Test & Evaluation)로 구분되어 수행된다. 개발시험평가는 연구개발주관기관이 표준화된 시험환경에서 요구성능을 측정하고 설계상의 중요한 문제점을 식별하고 보완하여 기술적으로 개발목표가 충족되었는지 검증하는 것이다. 운용시험평가는 소요군에서 무기체계가 운용되는 작전환경 또는 유사환경에서 작전운용성능의 충족과 군 운용의 적합성, 효율성, 안전성 등을 확인하고 전력화지원요소 등에 대한 적합성을 시험평가 하는 것으로 무기체계 획득과정에서 매우 중요한 단계이다. 시험평가는 그림 2와 같이 체계개발 및 획득을 위한 시스템엔지니어링 과정(System Engineering Process)의 한 집약된 부분이다.

그림 2. | Fig. 2. SE기반 무기체계 개발 및 시험평가 검증^[7] | SE-based weapon system development and T&E verification

Download Original Figure

시험평가는 체계개발 시 조기에 성능 수준을 확인하고 개발자가 설계결함 등을 식별하여 보완할 수 있도록 도움을 주는 역할을 수행한다. 무기체계 개발 및 획득과정으로 합참에서 무기체계의 소요를 결정하면 방사청은 선행연구를 거친 후 방위력개선사업에 대한 추진 방법을 결정한다. 일반적인 무기체계 연구개발은 기술 수준과 획득 기간을 고려하여 결정된 사업추진 방법에 따라 그림 3과 같이 탐색개발과 체계개발 과정에서 시험평가를 수행한다.

그림 3. | Fig. 3. 연구개발 무기체계 시험평가 수행절차^[8] | R&D weapon system T&E procedure

Download Original Figure

무기체계 시험평가와 관련 학술적 연구는 통상 시험평가 정책 및 제도나 무기체계에 대한 시험평가 신뢰성 향상방안 등을 중심으로 연구가 이루어졌으며, 4차 산업혁명과 연계한 첨단 무기체계 변화에 관한 시험평가 연구는 부족하여 추가 연구가 필요하다. 박종완(2015)은 “무기체계 시험평가의 신뢰성 향상방안”에서 시험평가 신뢰성에 영향을 미치는 내외부 요인을 분석하여 시험평가 전문화, 개발시험평가의 운용시험평가 전환을 위한 검증체계 정립과 내구성 환경시험에 대한 인식 제고와 시험평가 적정 시제 산출 및 시험평가 업무의 표준화 정립 등을 제시하였다^[9]. 강응섭(2016)은 “국방기술 환경변화에 부응한 무기체계 시험평가 신뢰도 제고에 관한 연구”에서 안정성(정책·조직) 측면에서 시험평가계획을 종합적으로 작성 검토하고 조정과 통제할 수 있는 조직의 신설을 제시하였다. 전문성(인력·기술) 측면에서 시험평가 전문특기를 부여하고 과학적으로 투명성과 객관성이 있는 입증된 시험은 통합시험으로 수행하는 방안을 제시하였다^[10]. 최규옥·송재은·유영민(2019)은 “무기체계에 적용 가능한 적응형 시험평가에 관한 연구”에서 시제품에 대한 평가체계를 연구개발 전기간에 걸쳐 단계별 평가 및 수시평가를 통해 진행 수준에 맞게 적시적으로 수정ㆍ보완할 수 있는 적응형 시험평가 체계 적용방안을 제시하였다^[11]. 이강경(2020)은 “국방 획득환경 변화에 적합한 무기체계 운용시험평가 개선전략 도출”에서 전투원의 안전보장, 국방개혁 2.0 추진을 연계한 수명주기비용 최적화를 통해 국방예산을 절감하고, 미래 전장환경의 변화에 대비한 시대적 요구를 반영할 것을 제시하였다^[12].

현대전을 흔히 과학기술의 전쟁이라고 부른다. 일찍이 미국 국방장관을 역임한 페리 박사는 국방력을 높이는 핵심은 ‘이용 가능한 최신 과학기술을 최소한의 비용으로 최단 시간에 전력화하는 것’이라고 강조했다. 국방력의 핵심이 과학기술이라는 말이다. 군사 대국인 미국을 제외하고라도 과학기술을 군에 적절하게 활용해 자주국방 능력을 갖춘 나라들은 많이 있다. 그중 이스라엘이 대표적인 국가다. 작은 나라임에도 불구하고 아랍과의 전쟁에서 연전연승하고 있는 이스라엘은 첨단 무기에 필요한 기술을 외국에 의존하지 않고 스스로 개발한다는 국방 과학기술정책을 유지해 왔다. 그 결과 무인항공기 시스템·미사일 등 첨단 무기를 비롯해 각종 재래식 무기의 성능개량 기술은 세계적으로 가장 앞선 나라가 됐다^[13]. 한반도의 미래전 양상은 인구감소, 생명중시 사상의 확산 등 사회변동 요인과 4차 산업혁명의 시대에 국방과학기술의 발전으로 격동의 시대적 변화상황이 펼쳐지고 있다.

한반도의 미래전장은 네트워크중심작전 환경하에서 정규전, 비정규전, 테러 등 다양하고 상이한 형태의 전쟁이 동일한 전장 공간에서 동시에 발생하고 시·공간이 장기적이고 새로운 영역으로 확장되는 하이브리드전이 될 전망이다. 미래전장은 지상·해상·공중을 넘어 우주와 사이버 영역 등 5차원의 전장 공간의 확장과 융합기술이 접목된 인공지능(AI) 기반 첨단 무기체계의 운용으로 무기체계간 상호연동성과 복잡성이 증가할 것이다.

육군의 Army TIGER 4.0 체계는 인공지능(AI) 기반 로봇과 드론, 무인차량 등 유무인 복합전투체계가 초지능·초연결 네트워크로 연결되어 다영역 동시통합 작전을 수행할 것이다. 이를 확인 검증하기 위해서는 무기체계의 작전요구성능과 요구능력의 부합 여부를 확인·검증해야 한다. 초지능·초연결 네트워크로 연결되는 무기체계와 지휘통제체계의 상호운용성을 통합하는 네트워크 통합시험이 필요하다. 또한, 무기체계에서 생성된 대량의 빅데이터를 분석하고 활용할 수 있는 AI에 대한 시험평가 수행체계를 발전시켜야 한다. AI 기반 무기체계 시험평가는 자동화 자율화에 따라 높은 수준의 안전성과 신뢰성이 필요하다. 복잡한 작전상황에서 무기체계가 효과적으로 수행할 수 있는지 능력을 검증해야 한다. 대량의 데이터를 활용한 예측 분석과 의사 결정력을 평가해야 한다. 이를 위해서는 군사용 인공지능을 위한 인프라(데이터, 알고리즘, 플랫폼, 인재)가 선제적으로 구축되어야 한다.

최근 육군에서는 '00년부터 AI 경계시스템을 구축하기 위해 시험평가를 하고 있다. AI 경계시스템은 운용조건의 특수성을 갖고 있다. 실내가 아닌 야지에서 주·야 24시간, 사계절의 자연환경에서 기상 조건과 관계없이 운용되어야 한다. 또한 유동 인구나 차량운행, 동물의 출현 등 발생빈도는 낮은 지역에서 운용되어야 하는 특성을 갖고 있다. 하지만 AI 영상감시체계 운용조건에 맞는 필수데이터를 사전에 구축하지 않고 시험평가를 실시하면서 원활한 시험평가를 진행할 수 없었다. 이는 AI 영상감시체계의 특수성을 인식하지 못하고 시험평가를 진행했기 때문이다.

AI 기반 무기체계는 개발단계에서 성능향상이 시험평가 전·중·후에 지속적으로 이루어진다. 일반 무기체계는 통제 주체가 사람인 반면, AI 기반 무기체계는 1차 통제 주체가 AI이며, AI 시험평가를 위한 별도의 절차가 필요하다. 현 시험평가 수행체계 단계에서 실물에 의한 현장 시험평가를 진행하고 합·불 판정을 한다는 것은 AI 체계의 기본성능과 학습 능력의 과정을 이해하지 못하는 것이다. AI 기반 무기체계 시험평가를 위해서는 사전에 데이터 구축과 군 운용환경 및 운용목적에 맞는 시나리오가 정립되어야 한다. 또한 AI 기반 무기체계 시험평가는 데이터 기반 성능평가와 실물에 의한 시험평가를 병행해야 한다.^[14] 데이터를 수집하고 수집된 정보를 AI가 판단해서 처리하는 일련의 과정은 데이터 기반 성능평가를 통해 수행해야 한다. 이를 위해 AI 모델의 성능을 평가하기 위해서는 학습에 사용되지 않은 별도의 평가 데이터셋을 활용한 성능측정이 필요하다. 하지만, 현 시험평가 수행체계에는 AI 무기체계 시험평가를 위한 데이터셋이 구축되어 있지 않으며, 신기술적 특성을 반영한 시험평가 기준·방법·절차가 미정립되어 있어 개선이 필요하다.

본 연구에서는 4차 산업혁명과 시대적 변화에 적합한 시험평가 수행체계 개선방안을 도출하기 위한 방법론으로 무기체계 개발환경 변화에 따른 무기체계 시험평가 한계와 미래 시험평가 환경변화에 대한 사례연구 분석을 통해 무기체계 시험평가 개선방안을 도출하였다. 첨단 무기체계 시험평가 분야별 개선방안에 대한 정량적 분석은 계층적 분석기법(AHP)을 적용하였다.

사례연구(Case Study Research)는 미국 COMOS corporation의 회장인 Robert K. Yin이 제시한 방법으로 주로 사회과학 분야에서 특정 현상이나 집단을 깊이 있게 자료를 수집하고 분석하여 심층적으로 기술하고 해석하는 질적·정성적으로 연구하는 방법이다^[14]. 첨단 과학기술의 발전과 미래전장 환경의 변화에 따른 무기체계 시험평가 환경변화를 도출하였다.

계층적 분석기법(AHP)은 다수의 대안에 대하여 다면적인 평가 기준과 다수주체에 의한 의사결정을 위해 설계된 의사결정 방법의 하나다. 미국 Pennsylvania 대학교 Thomas L, Saaty교수가 1970년대 초에 개발한 기법으로 계층 분석적 의사결정 기법이라고 불린다^[15]. AHP는 의사결정자의 직관적이고, 합리적 또는 비합리적인 판단을 근거로 가중치, 일관성 지수와 같은 정량적인 요소와 쌍대비교라는 정성적인 요소를 동시에 고려하여 의사결정을 내릴 수 있도록 하는 방법이다^[16]. 첨단 무기체계 시험평가 수행체계를 개선하기 위한 평가항목을 시험평가 제도·구조·기술적 측면에서 전문가들의 견해를 종합하고 정리하는 일련의 과정을 통하여 평가영역과 세부 요소를 도출하였다.

본 연구는 4차 산업혁명의 시대, 첨단 무기체계 시험평가 수행체계 개선방안을 도출하기 위해 소요기획, 사업관리, 시험평가, 연구개발주관기관 등 국방전력업무 관계관 총 46명을 대상으로 기초조사 설문과 AHP 설문을 실시하였다. 무기체계 시험평가 개선방안에 대한 방위사업실무위를 비롯해 무기체계 소요제기자, 소요결정 이후 획득절차 전반에 대해 사업관리를 담당하는 실무담당자 및 책임자, 체계개발에 참여하는 연구개발주관기관 및 소요군의 시험평가 관계자 등 국방 전력업무 관련 전문가들을 파악하여 선발하였다. 세부 현황은 표 3에 제시된 바와 같다. 1차 설문조사 및 분석 이후, 실효성 있고 심도 있는 시험평가 수행체계 발전방안을 도출할 수 있도록 2차 전문가 인터뷰 및 AHP 설문을 실시하였다.

설문조사는 4차 산업혁명의 시대, 시험평가 수행체계 개선방안에 대한 우선순위를 체계적으로 평가할 수 있는 방법으로, 리커드 9점 평가척도를 쌍대비교하는 설문 문항을 구성하였다. 설문 조사간 응답자의 판단 오차를 최소화하여 신뢰성을 높이기 위해 직접 방문 및 화상통화를 통해 설문 배경과 목적, 설문 방법 및 절차에 관해 설명하고 진행하였다. AHP 분석은 메이크잇(Make It) 분석프로그램을 활용하여 쌍대비교 및 타당성 검증결과 평가대상자 46명의 설문중 일관성 비율(Consistency Ratio, CR)이 0.1 이상인 7명은 일관성 값이 유효하지 않아 제외하였다. 가중치는 39명의 평가 결과에 대해 보간법을 적용하여 산출하였다.

시험평가 수행체계 개선방안에 대한 계층구조별 상대적 중요도 및 평가항목별 우선순위를 분석하기 위해 AHP 분석을 적용한 결과, 표 4와 같이 산출되었다. 평가항목은 문헌 연구와 국방전력업무 관계관을 대상으로 기초조사 설문 및 인터뷰를 통해 시험평가 수행체계에 있어 제한사항 및 개선 소요를 식별하고 제도적·구조적·기술적 분야로 구분하여 세부 평가항목 11개를 선정하였다. 무기체계 시험평가 수행체계 개선방안에 대한 평가영역의 상대적 중요도는 시험평가 제도(47%) > 시험평가 기술(27.9%) > 시험평가 구조(25.1%) 순으로 평가되었다. 이와 같은 결과는 4차 산업혁명의 첨단 과학기술이 국방 무기체계 연구개발에 구현될 수 있도록 하기 위해서는 우선적으로 제도적인 기반이 구축되어야 한다는 것으로 평가되었다.

평가영역별 중요도 측면을 보면, 시험평가제도 영역은 국방 무기체계 시험평가 관련 법규 및 무기체계 획득정책, 시험평가 절차 및 관련 문서체계로서 무기체계 시험평가 수행과 결과 판정에 대한 적법성의 기반이 된다. 시험평가제도 영역에서 우선순위가 높은 항목은 무기체계 시험평가 결과 판정과 국방 무기체계에 적용되는 AI·무인·자율주행 등 관련 법령 제정 등으로 분석되었다. 이는 4차 산업혁명의 첨단 과학기술을 활용할 수 있도록 무기체계 시험평가 제도에 있어 전력화의 시급성이나 매몰 비용 등을 종합적으로 판정할 수 있도록 제도적으로 유연성이 확보되어야 한다. AI·로봇 등이 적용된 무기체계 도입은 법적 윤리적 문제에 있어 관련 법령을 제정할 필요성을 제기하고 있다. 시험평가 구조적 영역은 무기체계 시험평가 조직 및 편성, 민·군(국제) 기술협력 및 교류, 전문인력 양성 및 시험평가 인프라 구축 등이다. 첨단 무기체계 시험평가를 수행할 수 있는 시험평가 조직 및 전문인력 양성이 상대적으로 우선순위가 높게 분석되었다. 시험평가 기술적 영역은 과학 이론을 실제로 적용하여 무기체계 시험평가에 대한 신뢰성의 기반이 되는 것으로 과학적 시험평가, Army TIGER 기반체계 네트워크 통합시험이 시험평가기술 영역에서 우선순위가 높게 평가되었다.

4차 산업혁명의 시대, 무기체계 시험평가 수행체계 개선방안의 세부 평가항목을 기준으로 보면, 시험평가 결과 판정(16.3) > 시험평가 조직 및 전문인력 양성(14.9%) > 과학적 시험평가(14.3%) > AI·무인·자율주행 등 관련 법령 제정(13.5%) > 신속획득방안 개선 및 확대(11.1%) 순으로 분석되어 중요도를 가장 낮게 평가한 민·군(국제) 기술협력 및 교류(3.5%)보다 약 3.2~4.7배 높게 평가되었다.. 세부 평가항목중 중요도를 상대적으로 높게 평가한 시험평가 결과 판정, 시험평가 조직 및 전문인력 양성, 과학적 시험평가 등에 대해서 우선적으로 개선하고 보완한다면, 4차 산업혁명의 시대에 첨단 무기체계 시험평가를 수행할 수 있는 기반을 구축할 수 있을 것으로 본다.

시험평가 결과 판정과 관련하여 국방전력발전업무 훈령과 합참 무기체계 시험평가 업무규정에는 ‘획득추천’을 통해 사업추진이 가능하다. 또한, 표 5와 같이 00형 장갑차 등 3개 사업의 시험평가 결과, 작전운용성능 이외의 시험 항목이 기준미달된 경우에는 소요군의 기준미달 항목에 대한 수용 여부로 ‘전투용 적합’ 판정이 가능하다. 하지만, 관련기관들의 인식의 문제와 개발과정의 완벽성을 추구하는 제도의 경직된 적용으로 전력화가 중단되거나 지연되는 사례가 발생하고 있다.

국방 무기체계 전력화 여부를 판단하는데 중요한 역할을 수행하는 시험평가 수행체계를 합리적으로 개선하기 위해서는 첫째, 군의 필요성을 고려하여 일부 성능이 미충족된 전력의 적기 전력화를 위해 획득추천 제도를 활성화해야 한다.

둘째, 시험평가 항목을 필수·선택으로 구분하여 시험평가하고 유연하고 합리적으로 판정할 수 있도록 여건을 조성해야 한다. 현 시험평가 항목을 작전운용성능과 같은 필수항목과 기술적·부수적 성능, 업체 제안 등 선택항목으로 구분이 필요하다. 선택항목 중 미충족 항목은 양산과정에서 보완할 수 있도록 하고, 일정 수준 이상 충족 시 ‘전투용 적합’으로 판정할 수 있는 제도적 보완이 필요하다. 또한, 반복 개발학습이 필요한 인공지능(AI) 기반 무기체계 등은 개발단계에서 합·불 판정이 제한되는 점을 고려하여 양산 간 지속 개발 및 확인을 위한 별도의 절차 마련이 필요하다.

셋째, 시험평가도 무기체계 개발의 하나의 과정으로 인식해야 한다. 양산과정에서 발생하는 일부 문제점에 대해서는 부실 시험평가로 판단하는 인식을 탈피할 수 있도록 제도적용의 유연성이 필요하다. 더불어 각종 협의체의 판단 권한을 강화하고 협의체 판단의 면책 부여제도 등을 도입하여 시험평가 간소화에 대한 부담을 경감 해야 한다.

우리 군의 시험평가는 선진 군(미군 등)의 시험평가 방법 등을 벤치마킹하여 많은 발전을 해왔다. 하지만 아직까지 시험평가 인프라가 부족하여 일부 제한적으로 적용하고 있다. 우리 군에서는 아직까지 무기체계 시험평가에서 시험과 평가의 개념을 혼용하여 사용하고 있으며, 시험설계 및 시험 결과에 대한 분석과 평가 방법이 쳬계적으로 정립되지 못하고 있다.

미래의 첨단 무기체계는 기존의 일반적인 무기체계가 구비하고 있는 기동성, 화력, 생존성 등 특성 이외 4차 산업혁명 시대의 핵심기술인 AI를 구비한 무인체계로 발전하고 있다. 미국을 비롯한 주요 선진국들은 AI기반 군사력을 대폭 강화하고 있다. 미국은 AI를 미래전에 대비한 ‘3차 상쇄전략’ 구현의 핵심 수단으로 보고 국방 AI 거버넌스를 구축하여 기술개발에 투자를 확대하고, 중국과 러시아에 대비하여 2030년까지 250~300명의 전투병과 수천 대의 로봇으로 구성된 새로운 전투단을 만들 계획이다. 중국은 미국에 대한 상대적 열세를 극복하기 위해 강군 건설의 핵심 요소로 AI를 선정하고, 미래 지능화전 양상을 선제적으로 준비하고 있다^[17]. 우리 군도 최근 5년간('18~'22년) AI를 군에 적용하는 사업에 약 1조 8,903억을 투자하여 국방과학연구소를 중심으로 무인자율체계를 개발 중이며, 최근 무인수색차량 탐색개발을 완료하고 수상함 음탐정보 및 위성영상 식별기술, AI 공중교전기술 등 44개의 연구를 진행하는 등 상당 부분 기술을 축적하고 있다. 이와 같은 신개념 과학기술이 적용된 첨단 무기체계를 시험평가하기 위한 전문인력의 필요성은 증가하고 있다. 하지만, 시험평가를 수행할 수 있는 전문인력 양성과 조직편성 등은 국방혁신을 위한 우선순위에 반영되지 못하고 있다.

첨단 무기체계 시험평가 수행을 위한 조직의 전문성을 확보하기 위해서는 인공지능, 사물인터넷, 빅데이터, 로봇, 3D 프린팅 등 5가지의 ICT 기반 기술과 AI를 구비한 무인체계, 드론봇 전투체계 등 무기체계 성능을 시험하고 평가할 수 있는 전문인력을 양성하고 시험평가 조직에 배치해야 한다. 또한 시험평가 조직을 ‘시험’과 ‘평가’기능을 분리하여 시험평가 수행 결과의 신뢰성을 확보하기 위한 평가조직을 보강해야 한다.

미군의 경우 그림 4와 같이 육군 시험평가사령부에 7개 평가부서를 두고 100여 명의 공학, 통계, 수학 전문가로 구성된 육군평가센터(AEC)를 편성하여 시험부서와 평가부서를 분리 운용함으로써 평가의 독립성과 전문성을 보장하고 있다. 이와 같이 우리 군에서도 ‘시험’과 ‘평가’의 기능을 분리할 수 있도록 평가조직을 보강하고 시험계획 수립 시 과학적인 실험계획법을 수립할 수 있는 전문인력과 시험평가 관련 직무연수 및 유관기관 실무위탁 교육과 견학을 확대하여 전문성을 강화할 필요가 있다.

그림 4. | Fig. 4. 미 육군시험평가사령부(ATEC), 육군평가센터(AEC) 편성 | Formation of the US ATEC and AEC^[18]

Download Original Figure

과학적 시험평가는 시험평가의 본질인 연구개발을 통해 제작된 시제품(Prototype)에 대한 시험과 평가를 거쳐 양산된 무기체계 및 전력지원체계의 전력발휘 완정성을 보장하는 활동을 합리적이고 효율적으로 수행하기 위한 활동이다. 시제품을 대상으로 양산품의 품질을 보증해야 하는 시험평가의 현실적인 제약에도 불구하고 다양한 과학적 시험평가 방법을 적용하여 한정된 자원을 효율적으로 사용하면서 통계적인 신뢰성을 향상하기 위한 노력이 필요하다. ‘과학적’은 사전적(국립어학원 표준 국어대사전)으로 ‘과학의 바탕에서 본 정확성이나 타당성이 있는 것’으로 정의한다. ‘과학적’에 대한 사전적 정의에 시험평가의 신뢰성과 효율성의 의미를 복합적으로 고찰하면 다음과 같다. ‘과학적 시험평가’를 ‘시험평가 자원을 효율적으로 사용하면서 시험평가 결과의 신뢰성을 향상하기 위해 보편적인 진리 또는 법칙을 적용하여 시험평가를 체계적으로 계획·시행·분석하는 방법’으로 정의할 수 있다. 즉, 시험평가를 과학적으로 수행했다면 시험 당시와 동일한 조건 또는 유사한 조건에서 같은 시험을 반복할 때 통계적으로 동일하거나 유사한 결과를 획득할 수 있어야 한다.^[20]

시험평가에 있어서 가장 중요한 사항 중의 하나는 필요한 시험 횟수를 결정하는 것이다. 우리 군은 과거 유사 무기체계의 시험 횟수를 적용하는 사례가 많았다. 전력화 시기를 고려한 시험평가 기간과 예산, 즉 시간과 경제적인 문제로 어떠한 통계적으로 근거 없이 과거의 시험 횟수를 가져와 시험평가를 진행하는 경우가 많았다. 이는 소요군 뿐만 아니라 연구개발주관기관도 동일하게 요구를 하고 있다. 예를 들어, 신형 포병탄약을 개발하는데 있어 정확도에 대해 시험평가를 진행한다고 해보자. 과거 박격포 탄약 개발 시 정확도 시험을 10발로 시험을 진행했다는 근거로, 새로운 포병탄약 개발시에도 10발로 시험을 진행하자고 한다. 이는 그림 5와 같이 시험 횟수 10발은 신뢰수준 76%, 27발은 신뢰수준 95%로 통계적 유의성을 확보하지 못한 시험이라고 할 수 있다.

그림 5. | Fig. 5. 시험 횟수에 따른 신뢰수준 변화 | Confidence level changes according to the number of tests

Download Original Figure

미군은 시험평가를 ‘위험 식별 및 감소에 활용할 수 있는 데이터, 시험을 통해 획득한 데이터 등 성능과 관련된 정보 제공을 위해 체계를 시험 및 분석하는 과정’으로 정의하고 있다^[19]. 미 육군시험평가사령부는 시험평가 규모와 범위에 대해 논리적으로 설명이 가능 하도록 지침을 제공하고 있다. 실험 또는 시험을 계획·수행·분석할 수 있도록 과학적 시험 및 분석기법(STAT, Scientific Test and Analysis Technique) 지침을 시험평가기본계획서(TEMP)에 포함하여 하달하고 있다. 우리 군도 과학적 시험 및 분석을 통해 위험을 식별하고 감소에 활용할 수 있도록 과학적 시험 및 분석기법을 시험평가기본계획서(TEMP)에 반영하여 개발·운용시험평가계획서가 작성되도록 해야 한다. 시험평가를 수행하는데 있어 사업관리기관, 소요군, 연구개발주관기관 등 관련 기관들이 시험평가 결과에 대해 신뢰할 수 있어야 한다. 따라서 과학적 시험설계를 통해 시험평가 항목과 항목별 시험 횟수 등 통계적으로 신뢰할 수 있도록 시험방법 및 절차를 적용해야 한다.

과학적 시험평가는 통계적으로 신뢰도와 타당도를 높일 수 있는 방법을 통해 구현할 수 있다. 시험 대상 체계 특성을 고려하여 시험평가 항목과 시험방법이 시험대상 체계의 본질적인 특성으로 타당하게 시험하면서 시험 결과가 객관적으로 신뢰할 수 있으면 과학적이라고 할 수 있기 때문이다.^[22] 시험평가는 시간·예산·인원·장비 등 제한된 시험평가 자원을 효율적으로 사용해야 한다. 이를 위해서 시험계획 단계에서 시험방법 최적화를 통한 시험평가 일정과 통계적 합리성을 고려한 시제품 수량 및 적정 시험 횟수 등을 결정해야 한다. 신뢰성(Reliability)을 높이기 위해서는 시험수행 단계에서 계통오차·우연오차 등을 고려한 시험환경 조성 및 통제, 시험오차 최소화를 위한 측정시스템을 분석해야 한다. 또한, 결과분석 단계에서 시험 데이터를 통계적인 관점에서 합리적으로 분석하여 확보하고 제공해야 한다.