Original Article

머신러닝을 이용한 항공기 수리부속 예측 모델의 실증적 연구

이창호*, 김웅이**, 최연철***
Chang-Ho Lee*, Woong-Yi Kim**, Youn-Chul Choi***
Author Information & Copyright
*한서대학교 항공운항관리학과 박사과정
**한서대학교 항공정보산업대학원
***한서대학교 항공교통물류학과
연락저자 E-mail : wykim@hanseo.ac.kr, 연락저자 주소 : 충청남도 서산시 해미면 한서1로

© Copyright 2018 The Korean Society for Aviation and Aeronautic. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Dec 12, 2018; Revised: Dec 20, 2018; Accepted: Dec 26, 2018

Published Online: Dec 31, 2018

ABSTRACT

In order to predict the future needs of the aircraft repair parts, each military group develops and applies various techniques to their characteristics. However, the aircraft and the equipped weapon systems are becoming increasingly advanced, and there is a problem in improving the hit rate by applying the existing demand prediction technique due to the change of the aircraft condition according to the long term operation of the aircraft. In this study, we propose a new prediction model based on the conventional time-series analysis technique to improve the prediction accuracy of aircraft repair parts by using machine learning model. And we show the most effective predictive method by demonstrating the change of hit rate based on actual data.

Keywords: 항공기 수리부속(Aircraft repair parts); 수요예측(Demand forecasting); 시계열 분석(Time-Series analysis; 머신러닝(Machine learning); 입력변수(Input variable)

Ⅰ. 서 론

세계 항공시장의 규모는 최근 5년간 연평균 6.1%(여객 km 기준)씩 꾸준히 성장하고 있으며 특히 아‧태 지역 항공산업의 폭발적인 성장은 세계 항공산업의 지형을 바꾸며 향후 성장 가능성은 더욱 높아지고 있다. 세계 항공우주산업 시장 규모는 2008년 4,300억$에서 2014년 5,826억$로 35% 성장하였고, 2023년에는 8,410억$로 44% 성장할 것으로 예측되고 있다[1].

우리나라 항공산업의 전체 규모를 가늠할 수 있는 항공기 보유량은 민수용 항공기에 비해 군수용 항공기가 전체 규모의 2/3을 차지하고 있어 사실상 국내 항공산업의 큰 축을 이루고 있으므로, 결국 군용기 군수지원 체계는 우리나라 항공산업 체계의 중요한 영역을 차지하고 있다.

항공산업의 성장 추세에서 항공기의 도입 이후 운영에 필요한 항공기 장비유지 비용은 항공기의 고가화로 인해 급격한 증가를 하고 있으며, 국방 장비의 가동률을 좌우하는 장비유지 예산 중에 수리부속 구매 예산이 2018년에 1조 2천억원 규모이고, 이 또한 점차 증가하고 있다. 이는 86만 품목에 이르는 수리부속 자산의 규모를 고려 할 때 충분히 예상되는 수준이다.

항공기 수리부속의 확보는 계약 후 평균 수개월에서 1년 이상이 소요되어 상당 부속품을 1년 전에 품목과 수량을 예측하여 예산을 확보하고 주요 부품은 사전 계약하므로, 미래 소요에 대한 예측 적중률에 따라 항공기의 가동률과 불필요한 초과자산의 발생을 방지하는 등 안정적이며 경제적인 운영이 가능하다.

항공기의 미래 수리부속 소요예측을 위해 각 군은 다양한 기법을 특성에 맞게 개발하여 적용하고 있으나, 항공기와 장착된 무기체계는 점차 첨단화 되고 있으며 수년에서 수십 년간의 장기 운영에 따른 항공기 상태의 변화 등으로 기존의 소요예측 기법을 적용한 적중률의 향상은 답보상태에 있다.

수리부속의 예산과 확보를 담당하는 품목관리자(IM : Item Manager)는 수리부속별 특성을 반영하여 예측치를 설정하는 데, 전체적인 수요예측 적중률은 품목 기준으로 약 75% 수준이며, 수량 기준으로 40% 수준에서 더 이상의 향상에 한계를 보이고 있다.

따라서 본 연구에서는 최근 답보상태에 있는 항공기 수리부속 예측 적중률 향상을 위해 기존의 시계열 분석 기법에만 의존한 예측체계에 새롭게 머신러닝 기법을 복합 적용한 예측 모델을 제시하고 실제 데이터를 기반으로 적중률의 변화를 실증함으로, 가장 효과적인 소요예측 기법의 실증을 시도한다.

Ⅱ. 항공기 수리부속 예측기법 이론

2.1 선행연구 및 유사 사례의 고찰
2.1.1 수요예측 선행연구

수리부속에 대한 수요(Demand) 관리란 청구부대에서 발생한 소요(Requirement)의 총량과 접수한 청구서에 의해 불출하였거나 불출할 것으로 결정된 수량을 말한다. 따라서 “소요는 수요로 발전하며 수요는 또한 소요로 발전한다”고 말할 수 있다. 그러므로 수리부속에 대한 소요를 정확한 수요예측을 통해 소요량을 파악할 수 있다. 수요예측의 정확도 향상을 통해 자재관리, 자본과 설비의 효율적 이용, 고객에 대한 서비스 개선 등 여러 가지 측면의 이득을 얻을 수 있다[2]

국방분야에서는 시계열 분석을 중심으로 한 수리부속 소요예측 분석 기법을 적용하고 있으며 각 군별 적용 기법은 Table 1과 같다[3].

Table 1. Defense field repair parts demand forecasting technique
적용 모델 품목별 적용모델 판단 방법
육군 산술평균법 회귀식의 기울기와 편차율을 고려한 1차 기계 적용기법이 프로그램 상에서 제안되고 이를 품목관리자가 최종 수정
이동평균법
최소자승법
해군 산술평균법 8개 기법 적용하여 과거 수요가 연도별로 표시된 그래프를 통해 품목담당관이 결정
이동평균법
가중이동평균법
최소자승법
단순지수평활법
이중지수평활법
홀트지수평활법
윈터지수평활법
공군 가중이동평균법 Y-2~Y-5년도의 자료를 이용하여 Y-1년도 수요예측하고, 이를 Y-1년도 실제 수요와 비교하여, 이중 정확도가 가장 높은 기법을 선택하여 반영
선형이동평균법
최소자승법
단순지수평활법
선형지수평활법
Download Excel Table

김진웅(1998)은 군에서 수요예측분야에서 적용하고 있는 통계학적 기법을 이용하여 수리부속품에 대한 월별 예측치를 구하여 실제치에 가까운 통계학적 기법을 선정하기 위하여 시계열 분석에 의한 선형기법, 비선형기법, 지수평활법, 이동평균법, 계절적 요인 분석법을 사용하였다[4]. 장기덕(2002)은 수리부속 소요관리에 기존의 단순한 시계열 모델을 적용하는 것 보다 입력자료의 정확성과 신뢰성 등을 고려하여 과학화된 수요예측 접근을 제시하였다[5]. 박영진(2008)은 항공기 수리부속의 예측 정확도 향상을 위해 1999년부터 2008년까지의 자료를 자기회귀이동평균(Autoregressive integrated moving average : ARIMA) 모형을 이용하여 분석하여 예측 정확도 향상을 연구하였다[6]. 김명례(2012)는 국산 훈련기인 T-50 항공기 수리부속 적중률 향상을 위해 당시 ‘과거 3년간 청구실적’ 기반의 시계열 분석에 항공기 운영 전 기간의 소모실적과 평균결함시간(Mean time between failure : MTBF) 및 항공기 소티수를 고려하여 가중이동평균모델을 적용한 소요산출 프로그램을 개발하여 제시하였다[7]. 주성종(2002)은 수리부속에 대한 재고 감축을 위해 수요예측의 대상을 기존 수요발생 수량을 예측하는 것에서 수요발생 간격을 예측해야 하며, 이때 장비 운용과 관련된 작동 시간, 비행 횟수, 운행 거리 등의 변수를 적용해야 한다고 제시 하였다[8]. 조성인(2010)은 수리부속 소요산출 프로그램 개발 및 적용을 제시하며, 수리부속 소요예측을 위한 가장 중요하고 기본적인 요소로서 정확한 소모실적 자료의 구축이 선행되어야 하고, 연간 소요량은 소요발생 간격 산출이 가능한 품목은 발생 간격을 활용한 인과형 모형을 적용하여 연간 소요를 산출하고 그 외의 품목은 시계열 기법을 적용하는 것을 제시하였다[9].

2.1.2 유사 사례

미 공군은 오랫동안 지금의 한국 공군과 유사하게 과거자료를 기반으로 시계열 분석기법을 적용하여 소모성 품목을 관리하여 왔으나, 2000년대 접어들면서 RFM(Repairability Forecast Model)과 같은 새로운 관리방법을 도입하여 운영하고 있다. 미 공군은 90년대 후반까지 과거 수요 데이터를 가지고 품목에 대한 수요를 예측하였으며, 이러한 예측방법은 과거의 수요흐름이 미래의 수요 흐름과 동일할 것이라는 가정을 기반으로 하고 있다. 전통적인 이 모델은 관리자 입장에서 비교적 간단하게 쉽게 산출 및 적용할 수 있다는 장점이 있으나, 일정한 조달기간, 일정한 수요, 독립적인 수요발생 등에 관한 가정들로 인하여 많은 한계점을 가지고 있다.[10] 이러한 문제점들로 인해 보다 효율적인 재고관리가 이루어지지 못했으며, 필요한 품목에 대한 주문도 적시에 이뤄지지 못하였다. 새로운 관리방법인 RFM은 CACI사에서 개발된 것으로, 미 샌안토니오 보급창에서 1988년 먼저 도입된 뒤, 현재는 미 공군의 창정비를 위한 제조 기법으로서 널리 사용되고 있다[11].

jksaa-26-4-101-g1
Fig 1. US Air Force RFM operating concept
Download Original Figure

독일공군은 1990년 초 장기운영 중인 F-4항공기의 안정적 후속군수지원을 위해 35년간의 운영 경험을 토대로 F-4엔진 수리부속 수요예측 도구 개발을 하였다. MRP와 유사한 개념으로 그동안 축적된 독일공군의 정비경험 자료를 활용하여 제품의 구성정보, 정비소요자재목록, 교환율을 산출하고 수리부속 조달시장조사를 통하여 항공기 도태시 까지 필요한 창정비 소요물량 산출을 근거로 수리부속 구매소요를 일괄 구매하여 엔진 창정비를 2005년에 완료하였다. 이러한 독일공군의 성공적인 수리부속 수요예측기법 적용 사례는 2000년 이후 심각한 수리부속 획득애로 및 창정비 적체로 가동률 급락이라는 어려움을 겪은 한국공군을 비롯한 F-4 운영국가에 많은 참고가 되었다. Fig 2는 독일공군의 F-4엔진 수리부속 수요예측 모델링 절차이다[12].

jksaa-26-4-101-g2
Fig 2. Procedures for the development of the German air force prediction model
Download Original Figure

KIDA(한국국방연구원)는 국방 연구기관으로서 2016년부터 머신러닝을 이용한 수리부속의 수요발생 유무를 예측하는 수요예측에 대한 연구와 2017년 확대 개발을 통해 머신러닝을 이용한 수량예측까지 시도하고 그 효과성을 최초로 비교 제시 하였다. 이 연구에서 기존의 시계열 분석을 이용한 예측기법에 대비하여 수요발생여부와 수량 예측을 구분하여 시계열 분석과 머신러닝을 구분 적용하고 효과를 분석하여 총 4가지 경우에 대한 수요예측 적중률을 연구하여 Table 2와 같은 결과를 제시하였다.

Table 2. KIDA’s machine learning forecast 단위 : %
수요발생 여부예측 수량 예측 공군 RC-800 육군 CH-47D
품목 수량 품목 수량
시계열(기존) 78.2 65.4 77.1 64.9
머신러닝 시계열 84.6 72.1 81.8 71.2
머신러닝 머신러닝 84.6 72.1 81.8 71.0
머신러닝 81.7 69.1 77.4 65.2
Download Excel Table

다품종 소량으로 발생하는 항공기 수리부속의 특성상 아래 표와 같이 머신러닝을 활용하여 수요 발생여부를 우선 분류 후에 시계열 분석을 이용하여 수량을 예측하는 방법이 시계열 기법만을 이용하는 기존의 방법이나, 머신러닝 만을 이용하여 수요발생 여부와 수량을 예측하는 방법 보다 적중률이 높고 머신러닝을 분석하기 위한 장기간의 시간을 절약할 수 있는 효율적 방법임을 제안 하였다.[3]

2.2 공군 수리부속 예측기법 연구

공군에서는 항공기 운영 기지 및 정비창에서 소모한 5개년간의 실적자료를 종합하여 5가지 시계열분석 기법으로 수요예측을 하고 소요량을 예측하는 체계를 운용하고 있다. 수요예측을 위해서 과거 5개년간의 소모실적을 5개 시계열 기법으로 분석하는데, 5년은 20개 분기이므로 과거 17개 분기의 소모 자료를 시계열 분석하여 최근 3분기 예측량을 각각 산출 후 실제 소모량과 오차가 가장 적은 기법을 선정한다. 이때 5가지의 시계열 기법은 가중이동 평균법, 선형이동 평균법, 최소자승법, 지수평활법 및 선형지수 평활법을 적용한다[3].

소요산정 과정으로서 과거의 소모실적을 기반으로 미래의 소요량을 산정하기 위해 과거 5개년간의 소무실적을 분기별로 총 20개 분기의 자료를 기반으로 차기 3개 분기의 소요량을 각각 예측한다. 이때 5가지 기법으로 모두 예측된 수량에 대하여 실제 값과의 편차가 가장 적은 기법을 선정하게 되며 아래 Fig 3는 그 세부 과정을 나타낸다.

jksaa-26-4-101-g3
Fig 3. Air Force requirement calculation process
Download Original Figure

공군은 2015년부터 항공기 수리부속의 예측 자료로서 ‘청구실적’ 기반에서 ‘소모실적’을 기반으로 변경하여 수요 예측 정확도가 향상 되었으나, 2016년 이후 정확도는 2015년과 비교할 때 유사한 수준을 유지하여 시계열 분석 만으로는 더 이상의 향상에 한계가 있음을 인식하였다. 국방부에서는 장비유지비의 증가를 효율적으로 관리하기 위해 머신러닝을 적용한 수리부속 수요예측 모델을 2016년부터 개발 중에 있는 등, 4차 산업기술인 머신러닝을 항공기 수리부속 수요예측 분야에 적용하여 보다 향상된 재고관리 능력을 보유할 필요성이 인식되고 있다. 시계열 통계 기법과 머신러닝 기법을 개괄적으로 비교하면, 통계학은 모집단 전부를 사람이 분석하는 것이 불가능하므로 표본(샘플)을 뽑아 결과를 예측하여 모집단의 결과를 대변함에 비해, 머신러닝 모델은 컴퓨터가 모집단 전부를 분석하여 결과를 예측하므로 변수와 분석 횟수가 많아도 우수한 연산 능력으로 손쉽게 분석한다.

통계적 분석절차는 ① 표본추출 → ② 가정설정 → ③ 가설검정 → ④ 이론(기법)을 컴퓨터에 적용 → ⑤ 새로운 값에 대한 예측에 비해,

머신러닝 분석절차는 ① 데이터 수집/정제 → ② 변수설정 → ③ 분석모델 설정 → ④ 컴퓨터 학습 → ⑤ 학습결과에 대한 검증 → ⑥ 새로운 문제(Data)대한 예측으로 이루어진다.

KIDA(2017) 연구 결과 머신러닝과 시계열 분석의 단독/혼합 예측 방안에 대해 수요발생 여부 예측은 머신러닝 기법을 적용하고, 수량 예측은 시계열 분석을 통한 예측이 효율적임을 제안하였다. 이 연구에서 추천된 머신러닝 기법은 DT(Decision Tree : 의사결정나무), k-NN (k-Nearest Neighbors : k-최근접 이웃), SVM(Support Vector Machine : 서포트 벡터 머신), LDA(Linear Discriminant Analysis : 선형판별 분석)과 LR(Logistics Regression : 로지스틱스 회귀) 등 5개 기법이다[13].

Ⅲ. 실증 분석

3.1 머신러닝 입력변수 선정 및 방법

입력변수는 2012년부터 2016년까지 5개년간의 수리부속의 소모량, 결함횟수 및 비행쏘티 등 항공기 운영실적 자료를 기반으로 수리부속 운영과 관련된 수요변수, 정비변수, 운영변수로 대분하는 61개의 ‘종합변수’를 선정하였다. 이때 수요 변수는 분기/연간 소모량과 연도별 청구목표 등 47개 변수이며, 정비변수는 운용기지별 품목의 결함과 정비횟수 등 4개 변수이고, 운영변수는 총 비행쏘티와 비행시간, 연도별 불가동률 등 10개 변수로서 종합은 Fig 4와 같다.

jksaa-26-4-101-g4
Fig 4. Input variable selection
Download Original Figure

특히 항공기 운영 특성이 수요발생 여부에 미치는 영향을 확인하기 위해 정비, 운영 변수를 선정하였는데, 이는 수요변수가 중요한 변수이지만 연구의 진행 과정에서 정비변수와 운영변수를 포함할 경우 수요변수만을 적용한 경우와 비교함으로 결과적으로 어떠한 변수를 적용하는 가에 대한 최적의 경우도 비교 도출할 의도이다. 세부 변수의 목록은 Table 3와 같다.

Table 3. Detailed list of input variables
분 류 세부분류 비 고
수요 변수 (47) 분기소모(20) 20개 분기 소모실적 (2012. 1분기∼2016. 4분기)
연간소모(5) 2012년∼2016년 소모량
소모간격(1) 분기별 소모간격 소모실적 발생간 평균일
소모성 부호(1) 소모성/복구성 구분 부호
연간수요(CD)(5) 2012년∼2016년 CD 차기 1년 수요발생 예측량
청구목표(RO)(5) 2012년∼2016년 RO 차기 1년 재고보유 필수량
수요정수(DL)(5) 2012년∼2016년 DL 전산으로 산출된 차기 1년 소요량
5년 수요(OD)(5) 2012년∼2016년 OD 5년간 수요 횟수
정비 변수 (4) 기지별 결함(4) A, B, C 3개 기지
품목별 총 결함건수
운영 변수 (10) 운영실적(4) 총 비행쏘티
대당 평균 비행쏘티
총 비행시간
대당 평균 비행시간
불가동 파생변수(6) 2011∼2016년 불가동률
Download Excel Table

머신러닝 분석을 위한 프로그램은 ‘R 프로그램’을 이용하였고, 항공기 수리부속의 실제 소모 데이터가 있는 2017년의 예측 수량과 실적을 비교분석 하기 위해 2012년부터 2016년까지 T-50 계열 항공기 수리에 사용된 2,000여 품목의 소모 자료를 대상으로 분석하였다.

3.2 수요발생 품목 예측 결과

5가지 머신러닝 기법을 사용하여 예측한 2017년도 수리부속 소요 발생여부 품목 수는 수요변수만을 적용한 경우와 정비/운영 변수를 포함한 종합변수를 적용한 경우로 구분하여 분석하며, 수요발생이 예상되는 품목과 수요가 미발생 될 것으로 예상되는 품목으로 구분하였다. 기존의 시계열 중심의 공군 수요예측방법의 경우 대상 1,897 품목 중 수요발생 예측은 1,040 품목이며, 수요 미발생 예측 품목 수는 857 품목이었음에 비해 비교적 큰 차이가 발생하였고, 수요변수와 종합변수를 적용했을 경우의 차이도 식별되었는데 결과는 Table 4와 같다. 본 산출 결과는 2017년도 실제 소모 자료와 비교하여 적중률을 측정하므로, 최적의 머신러닝 기법을 찾아 낼 수 있다.

Table 4. Predicted demand items by applying 5 kinds of machine learning 단위 : 품목
구 분 의사결 정나무 (DT) 최근접 이웃 (k-NN) 서포트 벡터 (SVM) 선형판별 (LDA) 로지 스틱 회귀 (LR)
수요 변수 수요 발생 951 1,017 987 933 897
수요 미발생 939 873 903 957 993
종합 변수 수요 발생 951 1,010 996 917 911
수요 미발생 939 880 894 973 979
Download Excel Table
3.3 예측 적중률 측정

5가지 머신러닝 기법으로 산출한 수요발생여부 품목의 예측 적중률은 2017년도 실제 수요예측 대상 전체 품목에 대비하여 수요발생 예측 후 수요가 발생한 품목과 수요 미발생 예측 후 실제 수요가 발생하지 않은(예측한데로 된) 품목의 합의 비율로 산출하였다. 이때 산출 공식은 다음과 같다.

머신러닝 활용 시 수요발생여부 예측 적중률은 73.9~83.3%로 기존의 시계열분석 예측 수준인 74.1%(적중 1,400품목, 미적중 490품목)에 비해 최대 9.2%p 향상되었으며, 성능 우수 모델은 최근접이웃모델(k-NN)로 확인되었다. 아래 Fig 5Table 5는 머신러닝 적용 시 수요발생 적중률 결과이다.

jksaa-26-4-101-g5
Fig 5. Comparing the demand accrual rate when applying machine learning
Download Original Figure
Table 5. Detailed rate of demand accrual when applying machine learning
구 분 의사 결정 나무 (DT) 최근접 이웃 (k-NN) 서포트 벡터 (SVM) 선형 판별 (LDA) 로지 스틱 회귀 (LR)
수요변수 적중 1,469 1,559 1,435 1,397 1,429
미적중 421 331 455 493 461
적중률(%) 77.7 82.5 75.9 73.9 75.6
종합변수 적중 1,469 1,574 1,454 1,419 1,445
미적중 421 316 436 471 445
적중률(%) 77.7 83.3 76.9 75.1 76.5
변수별 적중률 차이(%) [종합변수 - 수요변수] 0 +0.8 +1.0 +1.2 +0.9
Download Excel Table

입력변수 관점에서 종합변수와 수요변수 입력에 따른 변수별 적중률 차이가 0 ~ 1.2%p로, 수요변수보다 종합변수를 사용할 때 정확도가 향상됨을 확인하였다. 결과적으로 머신러닝 활용 시 수요발생여부 예측 적중률은 기존 대비 향상되었으며, 변수 및 일부모델의 알고리즘 조정을 통한 최적화 작업으로 수요예측 정확도의 추가 향상도 가능할 것으로 기대된다.

각 모델별 산출 결과에 대해 기존의 예측 수준과의 정확한 비교를 위해 Confusion Matrix1)를 통해 비교분석한 결과는 Table 6와 같다.

Table 6. Confusion Matrix on machine learning model forecasts 단위 : 품목
기 존 예측
발생 미발생
실제 발생 ①810 262 1,072
미발생 230 ②595 825
1,040 857 ③1,405
k-NN 예측
발생 미발생
실제 발생 882 188 1,070
미발생 128 692 820
1,010 880 1,574
LDA 예측
발생 미발생
실제 발생 758 312 1,070
미발생 159 661 820
917 973 1,419
DT 예측
발생 미발생
실제 발생 800 270 1,070
미발생 151 669 820
951 939 1,469
SVM 예측
발생 미발생
실제 발생 812 258 1,070
미발생 181 639 820
993 897 1,454
LR 예측
발생 미발생
실제 발생 768 302 1,070
미발생 143 677 820
911 979 1,445

주 : 계③는 ① + ②임, 810+595 = 1,405

Download Excel Table

특히 k-NN모델은 적중품목이 기존 체계 대비 169품목 높게 적중하므로, 해당 모델 적용 시 소요량 확보를 통해 원활한 수리부속 지원과 항공기 가동률 향상 효과가 있을 것으로 예상된다.

적중률이 가장 높게 산출된 k-NN 모델에 대해 변수 그룹별 적중률을 Confusion Matrix로 분석한 결과, 변수별 수요발생 적중품목이 기존 방법 대비 160 ~ 174품목 많아 적중률이 높은 것을 확인하였고, 변수의 그룹별 정확도는 종합변수 > 수요변수+정비변수 > 수요변수+운영변수 > 수요변수 순으로 식별되었다. 변수 그룹별 Confusion Matrix 분석 결과는 Table 7과 같다.

Table 7. Confusion Matrix by variable group of k-NN model 단위 : 품목
기 존 예측
발생 미발생
실제 발생 810 262 1,072
미발생 230 595 825
1,040 857 1,405
수요+정비 변수 예측
발생 미발생
실제 발생 883 187 1,070
미발생 132 688 820
1,015 875 1,571
수요 변수 예측
발생 미발생
실제 발생 878 192 1,070
미발생 139 681 820
1,017 873 1,559
종합 변수 예측
발생 미발생
실제 발생 882 188 1,070
미발생 128 692 820
1,010 880 1,574
수요+운영 변수 예측
발생 미발생
실제 발생 877 193 1,070
미발생 133 687 820
1,010 880 1,564
Download Excel Table

수요변수만을 적용할 경우에도 기존보다 수요발생 품목 및 미발생 품목 예측이 증가하지만, 정비변수를 추가 적용할 경우 기존보다 수요발생/미발생 품목 예측과 유사하며, 수요변수/수요+운용변수 적용 시 대비 수요 발생품목 예측은 증가하고 미발생 품목 예측은 감소한 것으로 확인되어 종합변수를 적용하는 것이 가장 높은 정확도를 확보할 수 있음을 확인하였다.

또한 변수 요소의 특성에 따라 수요발생 품목 예측이 상이하므로, 수요예측 정확도 향상을 위해 변수요소를 적절히 조합하여 최적의 변수조합을 찾는 것이 향후 적중률을 향상시키기 위한 과제로 식별되었다.

Ⅳ. 결론

본 연구에서는 유일한 국산 제트 항공기인 T-50 계열 항공기의 수리부속에 대해, 현재의 예측 체계인 시계열 분석 기법에 4차 산업혁명의 산물인 머신러닝 기법을 복합 적용하는 모델을 이용하여 수리부속 소요를 예측하고 적중률의 향상 수준을 실제 데이터를 이용하여 검증하였다. 개발 중인 KIDA의 유사한 머신러닝 모델을 근간으로 머신러닝의 학습효과를 증대시키는 입력변수를 수요변수 뿐만 아니라 정비변수와 운영변수를 추가하여 종합변수로 다양화하였고, 각각의 변수 종류별로 예측되는 결과를 비교하며 5가지의 머신러닝 기법에 대한 결과물도 비교 검증하였다.

연구 결과, 기존의 시계열 분석 중심의 수리부속 예측 체계에 비하여, 종합변수를 입력한 머신러닝과 시계열 분석 복합예측 모델은 기존 예측체계에 비해 5가지 기법 모두 예측 정확도의 향상이 실증 되었다. 품목 예측 정확도는 5가지 머신러닝 기법에 대해 평균적으로 3.7%p 향상되었고, 최적기법인 k-NN 기법은 최대 9.1%p의 향상이 확인되었으며, 수량 예측 정확도는 평균 3.5%p가 향상되었으며 마찬가지로 k-NN 기법 적용 시에는 5.7%p의 상당한 예측 정확도 향상 효과가 실증되었다.

입력변수의 종류에 따라서는 5가지 머신러닝 기법의 평균을 적용할 때, 수량 예측 정확도가 종합변수 > 수요+정비 변수 > 수요+운영 변수 > 수요변수(48.82%) 순으로 산출되었다. 이 결과는 머신러닝의 학습 효과와 예측 결과는 일반적인 이론과 부합되게 항공기 수리부속 예측 체계에서도 입력 데이터의 적절성과 포괄성 여부에 영향을 받음을 실증하였다. 머신러닝 기법의 정확도 향상을 위해서는 컴퓨터가 학습하는 입력변수의 특성에 따라 수요발생 품목 예측이 상이하므로, 변수요소를 적절히 조합하여 최적의 변수조합을 찾는 것이 향후 적중률을 향상시키기 위한 과제로 식별되었다.

본 연구 결과는 항공기 수리부속 예측 정확도의 향상이 필요한 항공기 운영 기관 및 부대에서 응용하여 적용할 때 수리부속 구매 예산의 효율성과 항공기 가동률의 안정성을 향상 시킬 수 있으므로 다른 기종으로의 확대 적용이 가능할 것이며, T-50 계열 항공기는 해외 수출 중임을 고려할 때 유지비의 절감이 가능한 후속 군수지원체계의 하나로 항공기 제작사에서 활용 가능할 것으로 예상된다.

Notes

1) Confusion Matrix(혼동행렬) : 분석모델이 데이터를 얼마나 잘 구분하였는지 성능을 평가할 때 활용하 는 지표 행렬

Reference

[1].

Se-jong Choi, “A study on aviation MRO industries and growth strategy in korean MRO”, Journal of the Aviation Management Society of Korea, 15(2), 2017, pp. 3~19

[2].

Se-hun Park, “Improvement method of forecasting method of aircraft repair parts”, 2007, Air Force University. pp. 25~34

[3].

KIDA, “Development of repair parts demand forecasting model”, 2014, pp. 10~20

[4].

Jin-ung Kim, “Method of development to supply demand forecasting : Case of an appurtenance”, Master Thesis, Chongnam National University, Daejeon. Feb 1998. pp. 9~21

[5].

Gi-Duck Chang, Gun-Wook Jun, “Scientific direction of repair part requirement management”, The Weekly Defense Review, Vol 918(02-47), KIDA, 2002

[6].

Young-Jin Park, Gun-Wook Jun, “A demand forecasting for aircraft spare parts using ARMIA”, Journal of the Military Operations Research Society of Korea, 2008, Vol 34(2), pp. 79~101

[7].

Myoung-Rye Kim, “Research of the scheme for improving a repairing request estimating hitting ratio”, Master Thesis, Gwangju University, Gwangju. Feb 2012. pp. 32~42

[8].

Sung-Jong Joo, “Military unit inventory reduction plan”, KIDA, 2002

[9].

Sung-In Jo, “A study on systematization of fleet repair parts management method”, Air Force Headquarters, 2010. pp. 45~56

[10].

Mi-Sun Sun, Je-woong Woo, Hyeck-Soo Lee, “A study on the efficiency of the US Army repair”, KIDA, 2010

[11].

Gaudette, K., Blazer, D. and Alcorn, H. K. “Managing Air Forces depot consumables – The big picture”, Air Force Journal of Logistics, Vol. XXVI, No. 4, 2002, P. 5

[12].

Jae-Hyun Shin, “A study on the empirical effectiveness analysis for repair parts requirement calculation system improvement” PhD Thesis, Daejeon University, Daejeon, Aug 2016, pp. 16~22, 56~86

[13].

KIDA, Major achievements and development directions, 2017