Journal of the Korean Society for Aviation and Aeronautics
The Korean Society for Aviation and Aeronautics
Original Article

서해안 인접공항의 저고도 항공기상 정확도 연구

조영진*, 유광의**
Young-Jin Cho*, Kwang Eui Yoo**
*한서대학교 헬리콥터 조종학과 교수
**한국항공대학교 항공교통물류학부 교수
연락저자 E-mail : speedshock@hanseo.ac.kr 연락저자 주소 : 충남 태안군 남면 곰섬로 236-49

© Copyright 2020 The Korean Society for Aviation and Aeronautics. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: May 08, 2020; Revised: May 28, 2020; Accepted: May 28, 2020

Published Online: Jun 30, 2020

ABSTRACT

This study is to evaluate the accuracy of the meteorological information provided for the aircraft operating at low altitude. At first, it is necessary to identify crucial elements of weather information closely related to flight safety during low altitude flights. The study conducted a survey of pilots of low altitude aircraft, divided into pre-flight and in-flight phases, and reached an opinion that wind direction, wind speed, cloud coverage and ceiling and visibility are important items. Related to these items, we compared and calculated the accuracy of TAFs and METARs from Taean Airfield, Seosan Airport and Gunsan Airport because of their high number of domestic low-altitude flights. Accuracy analysis evaluated the accuracy of two numerical variables, Mean Absolute Error(MAE) and Root Mean Square Error(RMSE), and the cloud coverage which is categorical variable was calculated and compared by accuracy. For numeric variables, one-way ANOVA, which is a parameter-test, was approached to identify differences between actual forecast values and observations based on absolute errors for each item derived from the results of MAE and RMSE accuracy analyses. To determine the satisfaction of both normality assumptions and equivalence variability assumptions, the Shapiro- Wilk test was performed to verify that they do not have a normality distribution for numerical variables, and for the non-parametric test, Kruscal-Wallis test was conducted to determine whether or not they are satisfied.

Keywords: Low Altitude Aircraft(저고도 항공기); Accuracy(정확도); TAFs(공항예보); METARs(정시관측보고); One-Way ANOVA(일원배치 분산분석); Shapiro-Wilk Test(샤피로-윌크 검정); Kruscal-Wallis Test(크루스칼-왈리스 검정)

Ⅰ. 서 론

저고도 공역에서는 소형 항공기, 헬리콥터, 초경량비행장치들이 주로 운항한다. 따라서, 학교기관의 교관조종사 및 학생조종사, 군과 국가기관 헬리콥터 조종사, 항공레저사업자 및 동호인 등이 저고도항공기 운용자에 포함된다. 대부분의 소형항공기가 준용하고 있는 시계비행규칙(VFR: visual flight rule)은 항공안전법상 최소 5,000m 이상의 시정과 구름으로부터 최소 이격거리 등을 규정하고 있기 때문에 주변의 항공기 및 장애물과의 충돌 회피를 위해 시정, 구름 등 기상요소는 운항 여부 및 안전을 결정하는 중요한 요소이다[1]. 특히 저고도항공기의 경우에는 저시정 및 낮은 구름 등의 영향으로 운항을 취소하는 사례와 무리한 운항, 급변하는 기상현상 등에 의한 항공기 사고도 지속적으로 발생하고 있다.

저고도 비행안전을 위한 기상부문 연구를 위해서 우선은 저고도 비행 안전에 영향을 미치는 기상 요인을 식별할 필요가 있다. 본 연구는 저고도 비행안전에 심대한 영향을 미치는 기상요인을 확인하기 위해 비행 전 또는 준비단계와 비행 중 단계로 구분하여 저고도항공기 조종사들을 대상으로 설문조사를 실시했다. 조사 결과, 시정, 운량·운고, 풍향·풍속이 중요한 기상 항목이라는 의견을 도출하였으며, 국내에서 다수의 저고도항공기 운항이 이루어지고 있는 태안비행장을 기준으로 인접한 서산공항과 군산공항의 공항예보(TAF: Terminal Aerodrome Forecast)와 정시관측보고(METAR: METeorological Aerodrome Report)를 비교하여 정확도를 산출하였다.

수치형 변수인 시정, 운고, 풍향·풍속은 MAE(Mean Absolute Error)와 RMSE(Root Mean Square Error) 두 가지를 오차의 척도로 정확도를 평가하였으며, 범주형 변수인 운량은 정확도(accuracy)를 계산하여 정확도를 평가하였다.

수치형 변수는 MAE 및 RMSE 정확도 분석 결과에서 도출된 각 항목별 절대오차를 근거로 예보값과 실측값의 차이 분석을 위해 변수별로 모수 검정인 일원배치 분산분석(one-way ANOVA)을 활용하였다. 정규성 및 등분산성 가정의 만족 유무를 판단하기 위해 샤피로-윌크 검정(Shapiro-Wilk test)을 시행하여 수치형 변수에 대해 정규성 분포를 띄고 있지 않음을 확인하였으며, 비모수 검정인 크루스칼-왈리스 검정(Kruskal- Wallis test)을 시행하여 귀무가설 ‘예보데이터와 관측데이터의 분포는 같다.’와 대립가설 ‘예보데이터와 관측데이터의 분포는 같지 않다.’를 정립하여 검증하였다.

본론에 수록된 내용은 서해안 인접공항을 중심으로 저고도 항공기상 예측값과 실측값의 정확도 분석과 저고도항공기 기상정보 서비스 구현방안에 대한 내용으로, 2014년 1월 1일 06시부터 2018년 12월 2일 23시까지 약 5년간의 서산공항과 군산공항의 TAF와 METAR를 비교하여 정확도를 분석한 후, 분석된 정확도를 검증 및 비교하기 위해 서산공항과 군산공항의 TAF와 태안비행장 공항기상관측 장비(AMOS: Aerodrome Meteorological Observation System)의 정확도를 분석 및 비교하였다.

Ⅱ. 본 론

2.1 수치형 변수 오차 정확도

항공기상에서 기상 변수인 시정, 풍향, 풍속, 운량, 운고 항목에 대해 예보값과 실제 실측값과의 정확도를 비교하였다. 실측값 비교를 위해서 수치형 변수인 시정, 풍향, 풍속, 운고에 대해서는 MAE와 RMSE 두 가지를 오차의 척도로 사용하였다.

기상 정확도는 연속 예측량의 카테고리 예보 역시 개별적인 예보, 관측값 쌍으로 계산한 스칼라 예보 정확도를 검증에 사용하는 것이 일반적이다. 일반적으로 사용하는 스칼라 예보 정확도는 평균절대오차(MAE: mean absolute error)와 평균 제곱오차(RMSE: root mean squared error) 두 종류이다[2].

MAE는 노름의 지수가 커질수록 큰 벡터 성분엔 민감하고 작은 성분에는 둔해지기 이유로 이상치를 지닌 데이터가 많을 때 RMSE의 대안으로 사용된다. 따라서 이상치를 더 많이 반영하는 것은 L1 노름인 MAE보다 L2 노름인 RMSE일 것이다[3].

여기서 노름은 보통 벡터 공간에서의 노름으로, 이는 벡터의 길이 또는 크기를 측정하는 함수 혹은 방법을 뜻한다. MAE와 RMSE는 벡터와 벡터 사이의 거리를 측정하는 방법으로써 각각 L1(Manhattan), L2 (Euclidian) 노름에 속하는데, 이 둘 외에 다른 노름으로도 거리 측정이 가능하다.

RMSE는 MAE에 루트를 더한 값이다. RMSE를 활용하는 이유는 RSME 같은 경우는 편차 제곱에 루트를 더했기 때문에 실제 관측되는 값과 얼마나 차이가 나는지 상대적으로 직접 알 수 있는 방법이다. 바로 사용할 수 없더라도 단위 변환 등을 통해 비교할 수 있기 때문에, 예를 들어 풍속을 예측하는데 MSE가 16이라면 RMSE는 4가 되며, 예측했을 때 풍속이 4kts 정도 차이가 난다고 할 수 있다. 절대적으로 비교할 수는 없지만 타깃의 표준편차와 비교하여 RMSE값의 성능을 확인하는 것도 방법일 수 있다[4].

수치형 변수 오차 정확도를 확인하기 위해 MAE와 RMSE를 척도로 정확도를 평가했으며, 이는 다음의 식과 같이 정의된다.

M A E = 1 n t = 1 n | Y t F t |
(1)
R M S E = t = 1 n ( Y t F t ) 2 n
(2)

여기서 n은 예보에 사용한 데이터의 수이고, Ytt시점에서의 실측값, Ftt시점에서 모형을 통한 예보값을 의미한다. 기상예보 평가에 사용되고 있는 MAE의 경우는 실측값과 실제값의 오차 절대값들의 합을 관측수로 나눈 값으로, 방향을 고려하지 않고 일련의 예측에서 오류의 평균 크기를 측정한다. 이는 직관적으로 모든 개별 차이의 가중치가 동일한 예측과 실제 관측치간의 절대 차이의 테스트 샘플에 대한 평균을 의미한다. RMSE의 경우 오차는 평균화되기 전에 제곱이 되기 때문에 큰 오차값이 나온 경우 RMSE값이 커지는 경향이 있다. 통상 큰 오차값이 바람직하지 않은 경우 MAE보다 RMSE값이 더욱 유용하게 사용될 수 있다. MAE와 RMSE는 절대값과 제곱값을 사용하기 때문에 MAE와 RMSE 값의 범위는 0에서 무한대(∞)이다. 해당 값이 0이 되는 경우는 관측된 모든 시점에 예보값과 실측값이 정확하게 같은 경우이며, 0에서 값이 멀어지는 경우 오차값이 커져 예보 정확도가 나쁨을 의미한다. MAPE의 경우, 무한대값이 계산되는 경우가 있어 비교 척도로 사용할 수 없기 때문에 정확도 비교척도에서 제외하였다.

정확도 산출을 위한 데이터는 2014년 1월 1일 06시부터 2018년 12월 2일 23시까지 약 5년간 시간별 데이터를 사용하여 정확도 결과를 도출하였다. Table 1Table 2는 수치형 변수인 풍향, 풍속, 시정, 운고의 MAE와 RMSE값을 나타낸다. 표의 ‘IMC Condition’이라고 표기한 부분은 시정이 3마일(5,000미터) 미만, 운고가 3,000ft 미만인 IMC 상황에서의 산출한 정확도를 의미한다. 변수의 단위는 TAF 기준과 동일 기준으로 풍향은 360도로, 풍속 단위는 kts로 0부터 최대 99kts(49m/s) 표출되며, 시정은 m로 최대 9,999m까지 기록되고, 운고는 ft(ft) 단위를 사용하였다. 전체적으로 MAE 값의 의미는 시간별로 보았을 때, 예보값과 실측값 오차 차이는 평균 풍향 42.03도, 풍속 3.62kts, 시정 2,197.6미터, 운고 약 445ft정도의 절대오차를 가지며, 서산의 IMC 상황일 경우는 평균 풍향 43.52도, 풍속 4.12kts, 시정 2,767.46미터, 운고 약 246ft, 군산의 IMC 상황일 경우는 평균 풍향 45.78도, 풍속 3.66kts, 시정 2,595.63미터, 운고 약 235ft 정도의 절대오차를 가짐으로 해석할 수 있다.

Table 1. MAE 정확도 비교
MAE 전체 VMC+IMC condition IMC condition
서산 군산 서산 군산
풍향(도) 42.03 42.36 41.61 43.52 45.78
풍속(kts) 3.62 3.88 3.36 4.12 3.66
시정(m) 2,197.6 2,419.0 1,975.9 2,767.5 2,595.6
운고(ft) 445 452 438 246 235
Download Excel Table
Table 2. RMSE 정확도 비교
RMSE 전체 VMC+IMC condition IMC condition
서산 군산 서산 군산
풍향(도) 56.78 56.74 56.76 57.86 61.14
풍속(kts) 4.95 5.10 4.80 5.30 5.18
시정(m) 3591.9 3,776.0 3,397.5 3,705.0 3,606.0
운고(ft) 763 765 761 472 517
Download Excel Table

정확도 검증 기준은 TAF에서 최종 예보되는 시간으로부터 6시간 후의 예보값과 그 시간에 발효되는 METAR의 실측값을 비교하였으며, BECMG의 경우 마지막 발효되는 시간을 기준으로 비교하였다. 또한 기상변화로 인해 SPECI가 발효될 경우, SPECI 예보값과 동일한 시간에 발효되는 METAR의 실측값을 비교하였다. 절대오차의 경우, 5년 평균의 수치를 산출하였으며, 풍향의 경우, 예를 들어 예보값이 350도이고 실측값이 010도인 경우 │350-010│=│340│, 해당식으로 340을 산출하고 360-340=020도를 산출하여 두 가지 중 작은 값을 채택하는 방법을 사용하였다.

RMSE의 경우도 데이터 변수 단위는 동일하며, RMSE는 통상적으로 가중치를 준 값이기 때문에 직관적인 단위 표현으로 비교하지 않고, 값 자체로 해석하였다. 예를 들어 서산과 군산의 IMC 상황의 관측수가 같다면(비교기준이 같을 경우) IMC 상황에서 서산보다 군산의 RMSE가 조금 더 크기 때문에 군산이 큰 오차값을 조금 더 많이 가짐을 추리할 수 있으나, 해당 상황의 경우 상황이 똑같은 관측수를 가지지 않으므로 비교에 어려움이 있다. 하지만 서산 전체와 군산 전체의 경우 관측수가 같아 비교기준이 같으므로 서산보다 군산이 큰 오차값이 많이 발생함을 추론할 수 있다.

수치형 변수 중 풍속에 대해 실측값보다 예보값이 높게 나오는 경우나, 시정 및 운고에 대해 실측값보다 예보값이 낮게 나오는 경우 실제 비행에는 전혀 문제가 되지 않는다. 그러나 풍향의 경우에는 높고 낮음의 분포가 아닌 방향에 대한 절대오차값을 측정하였기 때문에 월별, 계절별 특성을 확인하기 위해 2014년 1월 1일 06시부터 2018년 12월 2일 23시까지 약 5년간 시간별 데이터를 사용하여 월별 풍향에 대한 절대오차를 산출하였다.

Fig. 1은 TAF값을 기준으로 METAR의 월평균 오차값을 보여주고 있다.

jksaa-28-2-53-g1
Fig. 1. 월별 풍향에 대한 절대오차
Download Original Figure

월별 오차 비교 시 2월(52.3도)과 11월(52.5도)에 가장 큰 오차값을 보이고 있으며, 4월(25.3도)과 5월(29.8도)에 가장 낮은 오차값을 보이고 있다.

계절별 오차 비교 시 11월부터 2월 사이와 8월부터 10월 사이, 즉 하계절과 동계절로 변화되는 시기에 큰 오차값을 보이고 있다.

풍향 정확도에 대한 항공기상청 및 각 군 기상담당자 등 항공기상 전문가 의견에 따르면 『풍향의 오차를 야기하는 주된 원인은 우리나라의 계절풍의 영향과 해상 주변 공항의 경우 윈드시어를 주 원인으로 분석하고 있다. 윈드시어의 경우, 국내 공항 기준 년 평균 약 300건 정도가 발효 중이며, 정확도 자체도 70%에서 80% 정도를 유지하고 있다. 또한 기상산업진흥법 시행령 제 5조에 따라 국내 민간기상업체의 항공기상예보를 금지하고 있어 항공기상청에 의존할 수밖에 없는 것도 문제점이다.』라고 말하고 있다. 전문가 의견 등을 종합하여 풍향에 대한 월별, 계절별 분석 결과는 국내 계절풍, 특히 겨울로 넘어가는 기간 동안 발생하는 절대 오차값과 해상에 인접한 공항의 경우 육상과 해상에서 발생하는 비열의 차이, 윈드시어 등이 전체적인 풍향의 절대 오차값을 증가시키는 주된 원인으로 분석하였다.

2005년부터 2009년까지 국내 월 별 윈드시어 발생횟수는 총 184회로 월 평균 15.3회의 발생 횟수를 보였다. 이 중 12월에 33회, 11월에 24회로 가장 많이 발생하였다는 “LLWAS를 활용한 인천국제공항 저층 윈드시어에 관한 연구, 공주대학교, 김상용, 2011”의 자료는 월별 풍향에 대한 절대오차의 원인을 뒷받침해주고 있다[5].

2.2 예보값과 실측값 분포 비교(비모수 검정)

MAE 정확도 값 및 절대오차 비교뿐 아니라, 실제 예보값과 실측값이 차이가 있는지를 알아보기 위하여 해당 분포의 분산을 통해 변수별로 모수 검정인 일원배치 분산분석(One-way ANOVA)으로 접근하였다. 데이터는 2014년 1월 1일 06시부터 2018년 12월 2일 23시까지 약 5년간 시간별 데이터와 군산공항, 서산공항의 TAF, METAR를 사용하여 정확도 결과를 도출하였다.

일원배치 분산분석은 독립된 집단의 집단 내 분산 및 총 평균과 각 집단의 평균 차이로 생긴 집단 간 분산을 비교해서 얻은 F-분포를 이용해 가설을 통계적으로 검정하는 방법으로, 정규성(normality) 가정과 등분산성(homogeneity of variance) 가정을 만족하여야 하므로 샤피로-윌크 검정으로 정규분포가 맞는지를 검정하였다.

샤피로-윌크 검정은 데이터의 정규성을 검정하는 방법으로 표본의 개수가 충분하지 않을 때 자료의 값들과 표준정규점수와의 선형상관관계를 측정하여 검정하는 비모수 검정 방법이다[6].

본 연구에서는 ‘H0: 정규분포를 따른다’는 것으로 p-value가 0.05보다 크면 정규성을 가정하게 되며, 서산공항과 군산공항의 샤피로-윌크 검정 결과는 Table 3Table 4와 같다.

Table 3. 샤피로-윌크 검정 결과(서산공항)
변 수 관 측 예 보
서산 풍향 >shapiro.test(sample(seototal$f_w.dir,5000)) >shapiro.test(sample(seototal$w.dir,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(seototal$f_w.dir, 5000) sample(seototal$w.dir, 5000)
W = 0.86376, p-value < 2.2e-16 W = 0.90273, p-value < 2.2e-16
풍속 >shapiro.test(sample(seototal$f_w.speed,5000)) >shapiro.test(sample(seototal$w.speed,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(seototal$f_w.speed, 5000) sample(seototal$w.speed, 5000)
W = 0.4667, p-value < 2.2e-16 W = 0.91564, p-value < 2.2e-16
시정 >shapiro.test(sample(seototal$f_visi,5000)) >shapiro.test(sample(seototal$visi,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(seototal$f_visi, 5000) sample(seototal$visi, 5000)
W = 0.76523, p-value < 2.2e-16 W = 0.72255, p-value < 2.2e-16
운고 >shapiro.test(sample(seototal$f_height,5000)) >shapiro.test(sample(seototal$height,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(seototal$f_height, 5000) sample(seototal$height, 5000)
W = 0.59528, p-value > 2.2e-16 W = 0.78085, p-value < 2.2e-16
Download Excel Table
Table 4. 샤피로-윌크 검정 결과(군산공항)
변 수 관 측 예 보
군산 풍향 >shapiro.test(sample(kuntotal$f_w.dir,5000)) >shapiro.test(sample(kuntotal$w.dir,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(kuntotal$f_w.dir, 5000) sample(kuntotal$w.dir, 5000)
W = 0.89622, p-value < 2.2e-16 W = 0.90941, p-value < 2.2e-16
풍속 >shapiro.test(sample(kuntotal$f_w.speed,5000)) >shapiro.test(sample(kuntotal$w.speed,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(kuntotal$f_w.speed, 5000) sample(kuntotal$w.speed, 5000)
W = 0.4661, p-value < 2.2e-16 W = 0.90442, p-value < 2.2e-16
시정 >shapiro.test(sample(kuntotal$f_visi,5000)) >shapiro.test(sample(kuntotal$visi,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(kuntotal$f_visi, 5000) sample(kuntotal$visi, 5000)
W = 0.71376, p-value < 2.2e-16 W = 0.63197, p-value < 2.2e-16
운고 >shapiro.test(sample(kuntotal$f_height,5000)) >shapiro.test(sample(kuntotal$height,5000))
Shapiro-Wilk normality test data: Shapiro-Wilk normality test data:
sample(kuntotal$f_height, 5000) sample(kuntotal$height, 5000)
W = 0.62935, p-value < 2.2e-16 W = 0.76029, p-value < 2.2e-16
Download Excel Table

통계프로그램 R은 최소단위를 2.2e-16으로 표기하므로, 다음의 결과는 변수들이 정규성 분포를 띄고 있지 않음을 의미하고 있다. 따라서 모수검정을 할 수가 없기 때문에 비모수 검정인 크루스칼 왈리스 검정(Kruskal-Wallis test)을 시행하였다. 크루스칼 왈리스 검정은 Wilcoxon rank-sum test의 확장판으로 모든 값에 대해 순위를 정하고, 집단별로 순위의 합을 구해 검정통계량을 계산한다[7]. 크루스칼 왈리스 검정을 사용하여 다음과 같은 귀무가설과 대립가설을 정립하여 검증한다.

H0(귀무가설): 예보데이터와 관측데이터의 분포는 같다.

H1(대립가설): 예보데이터와 관측데이터의 분포는 같지 않다.

Table 5Table 6과 같이 각 변수별 크루스칼 왈리스 검정을 통해 결과를 살펴보았을 때, 모든 p-value가 0.000으로 0.05보다 작으므로 귀무가설을 기각한다. 따라서 대립가설대로 예보값과 실측값의 분포가 같지 않음을 증명하였다. 이를 데이터 분포를 시각화하면 다음 Table 7Table 8과 같다. 그룹 0은 관측데이터이며, 그룹1은 예보데이터이다.

Table 5. 크루스칼 왈리스 검정 결과(서산공항)
구 분 표준 편차 카이 제곱 자유도 p-value
서산 풍향 119.108 292.674 1 .000
풍속 3.902 126.224 1 .000
시정 4265.298 94.180 1 .000
운고 68.357 185.297 1 .000
Download Excel Table
Table 6. 크루스칼 왈리스 검정 결과(군산공항)
구 분 표준 편차 카이 제곱 자유도 p-value
군산 풍향 109.428 93.954 1 .000
풍속 4.287 79.596 1 .000
시정 4439.116 375.378 1 .000
운고 69.612 46.490 1 .000
Download Excel Table
jksaa-28-2-53-t7
Table 7. 데이터 분포 시각화(서산공항)
jksaa-28-2-53-t8
Table 8. 데이터 분포 시각화(군산공항)
2.3 정확도 검증

저고도항공기 조종사의 경우 국내 공항보다는 비행장 또는 특정 지역에서 대부분의 이·착륙 및 비행이 이루어지고 있다. 그러나 비행장 또는 특정 지역의 항공기상예보를 확인할 수 없는 여건으로 인해 인근 공항의 공항예보를 기준으로 비행 여부를 결정하고 있다. 따라서 태안비행장을 기준하여 인근 공항과의 예보값과 실측값에 대한 오차를 산출 후 동일 공항 내에서 측정한 오차값과 비교 및 검증하였다. 정확도 검증 및 비교를 위한 데이터는 2017년 12월 1일부터 2018년 11월 30일까지 1년간 서산공항, 군산공항의 TAF와 태안비행장 AMOS 시간별 데이터를 사용하여 정확도 결과를 도출하였다. Table 9는 수치형 변수인 풍향, 풍속, 운고, 시정의 MAE값을 나타낸다. 본 논문 4.1장에서 분석된 수치형 변수 오차 정확도와 동일하게 변수의 단위는 TAF 기준과 동일 기준으로 풍향은 360도로, 풍속 단위는 kts로 0부터 최대 99kts(49m/s) 표출되며, 운고는 ft(ft) 단위, 시정은 m를 사용하였다.

Table 9. MAE 정확도 비교(공항 TAF와 태안비행장 AMOS)
MAE 풍향 (도) 풍속 (kts) 운고 (ft) 시정 (m)
서 산 42.08 3.38 464 2,317.43
군 산 40.12 3.59 425 2,150.87
전 체 41.10 3.49 445 2,234.15
Download Excel Table

서산공항과 군산공항의 MAE 정확도 비교 결과, 동일 공항의 TAF와 METAR 데이터 비교로 산출된 정확도와 인근 공항 TAF와 태안비행장의 AMOS 데이터 비교로 산출된 정확도는 Table 10에서 보는 바와 같이 유사한 절대오차를 가지는 것으로 분석되었다.

Table 10. MAE 정확도 비교(종합)
구 분 풍향(도) 풍속(kts) 운고(ft) 시정(m)
서산 공항 TAF vs METAR 42.36 3.88 452 2,419.00
TAF vs 태안 AMOS 42.08 3.38 464 2,317.43
군산 공항 TAF vs METAR 41.61 3.36 438 1,975.89
TAF vs 태안 AMOS 40.12 3.59 425 2,150.87
전체 TAF vs METAR 42.03 3.62 445 2,197.60
TAF vs 태안 AMOS 41.10 3.49 445 2,234.15
Download Excel Table

서산공항 및 군산공항의 TAF와 인근 비행장인 태안비행장의 AMOS자료를 비교하여 MAE 정확도 절대오차를 바탕으로 분석 결과, 동일 공항 내에서의 분석 결과와 동일하게 예보값과 실측값의 분포가 같지 않음을 추정할 수 있다.

월별, 계절별 오차 확인을 위해 전체 평균 절대오차값을 기준으로 2014년 1월 1일 06시부터 2018년 12월 2일 23시까지 5년간의 동일공항 내 TAF와 METAR 절대오차값과 2017년 12월 1일부터 2018년 11월 30일까지 1년간 서산공항, 군산공항의 TAF와 태안비행장 AMOS 시간별 데이터의 절대오차값을 비교하였다.

Fig. 2는 월별 풍향에 대한 절대오차 비교를 보여주고 있으며, 동일공항 내 TAF와 METAR 절대오차값과 유사한 패턴을 보이고 있다.

jksaa-28-2-53-g2
Fig. 2. 월별 풍향에 대한 절대오차(전체)
Download Original Figure

Fig. 3은 월별 풍속에 대한 절대오차 비교를 보여주고 있으며, 풍향 결과와 유사하게 동일공항 내 TAF와 METAR 절대오차값과 유사한 패턴을 보이고 있다. 단, 풍속의 경우, 계절이 바뀌는 2월과 7월에서 AMOS 절대오차값이 조금 감소하는 것으로 분석하였다.

jksaa-28-2-53-g3
Fig. 3. 월별 풍속에 대한 절대오차(전체)
Download Original Figure

Fig. 4는 월별 운고에 대한 절대오차 비교를 보여주고 있으며, 동일공항 내 TAF와 METAR 절대오차값과 유사한 패턴을 보이고 있다. 단, 운고의 경우, BKN 이상의 운량에서만 측정이 가능하기 때문에 BKN 이하의 운량이 많은 가을철에는 절대오차값이 급격히 감소하는 것으로 분석하였다.

jksaa-28-2-53-g4
Fig. 4. 월별 운고에 대한 절대오차(전체)
Download Original Figure

Fig. 5는 월별 시정에 대한 절대오차 비교를 보여주고 있다. 시정의 경우, 동일공항 내 TAF와 METAR 절대오차값은 월별, 계절별 비교적 일정한 오차값을 나타내고 있으나, 태안 AMOS 절대오차값의 경우 월별, 계절별로 큰 차이를 보이고 있다. 이와 같은 이유는 태안비행장이 서해안과 인접한 공항특성으로 인해 봄철(3∼4월) 주로 발생하는 해무의 영향과 여름철(7∼8월) 장마로 인한 저시정의 영향인 것으로 분석하였다.

jksaa-28-2-53-g5
Fig. 5. 월별 시정에 대한 절대오차(전체)
Download Original Figure

지금까지의 분석 결과를 종합하면, 서산공항과 군산공항의 TAF와 METAR를 비교한 결과, 수치형 변수인 풍향·풍속, 운고, 시정에 대해서는 MAE와 RMSE 두 가지를 오차의 척도로 정확도를 평가하여 각 항목에 대한 절대오차를 산출하였으며, 정규성 가정과 등분산성 가정의 만족 유무를 판단하기 위해 샤피로-윌크 검정(Shapiro-Wilk test)을 수행하여 수치형 변수에 대해 정규성 분포를 띄고 있지 않음을 확인하였다. 이후 비모수 검정인 크루스칼-왈리스 검정(Kruskal-Wallis test)을 시행하여 대립가설인 예보데이터와 관측데이터의 분포는 같지 않음을 검증하였으며, 인근 비행장의 AMOS와 비교, 검정 결과 유사한 절대오차를 보이고 있었다.

범주형 변수인 운량은 정확도(Accuracy)를 계산하여 비교한 결과 약 25%의 정확도를 확인할 수 있었다. 결론적으로 저고도 항공기상의 경우 비모수 검정과 정확도를 근거로 TAF의 예보값과 TAF가 발효된 시점에서 METAR의 실측값은 많은 오차를 보이고 있다는 것을 검증하였다.

Ⅲ. 결론 및 방안

본 논문에서는 저고도항공기 운항이 많이 이루어지고 있는 태안비행장과 인접한 서산공항, 군산공항의 공항예보(TAF)와 정시관측보고(METAR)를 비교, 정확도를 산출하였다.

공항에서 발표되는 공항예보(TAF)와 정시관측보고(METAR)의 경우, 관측 자료에 대한 공간적 유효범위는 5SM로써 태안비행장과의 공간적 유효범위를 초과하나, 공항 이외의 비행장에서 비행하는 저고도항공기 조종사의 경우 훈련공역의 기상예보를 파악할 수 있는 방법은 인근 비행장의 TAF를 확인하는 것이 유일한 방법이며, 소규모의 비행장 별 기상장비 설치 및 인력 배치 등의 한계로 인해 서해안에 인접한 공항으로서 지형적인 특성이나 기타 기상 환경이 유사한 인접 공항인 서산공항과 군산공항의 2014년 1월 1일 06시부터 2018년 12월 2일 23시까지 약 5년간의 TAF와 METAR를 비교하여 정확도를 산출하였다.

정확도 분석은 수치형 변수인 풍향·풍속, 운고, 시정에 대해서는 MAE(mean absolute error)와 RMSE (root mean square error) 두 가지를 오차의 척도로 정확도를 평가하였다. 분석 결과, 전체적으로 예보값과 실측값 오차 차이는 평균 풍향 42.03도, 풍속 3.62kts, 시정 2,197.6미터, 운고 약 445ft 정도의 절대오차를 가지며, 서산의 IMC 상황일 경우는 평균 풍향 43.52도, 풍속 4.12kts, 시정 2,767.46미터, 운고 약 246ft, 군산의 IMC 상황일 경우는 평균 풍향 45.78도, 풍속 3.66kts, 시정 2,595.63미터, 운고 약 235ft 정도의 절대오차를 보이고 있었다. 또한 월별, 계절별로 구분하여 오차 산출 결과, 월별 오차의 경우 2월(52.3도)과 11월(52.5도)에 가장 큰 오차값을 보이고 있으며, 4월(25.3도)과 5월(29.8도)에 가장 낮은 오차값을 보이고 있고, 계절별 오차의 경우 11월부터 2월 사이와 8월부터 10월 사이, 즉 하계절과 동계절로 변화되는 시기에 큰 오차값을 보이고 있다. 이는 풍향의 오차를 야기하는 원인이 우리나라의 계절풍 영향과 윈드시어 등을 주요 원인으로 분석하고 있는 항공기상 전문가의 의견과 일치하고 있다.

수치형 변수인 풍향·풍속, 운고, 시정의 경우, MAE 및 RMSE 정확도 분석 결과에서 도출된 각 항목별 절대오차를 근거하여 예보값과 실측값의 차이를 알아보기 위하여 변수별로 모수 검정인 일원배치 분산분석으로 접근하였으며, 정규성 가정과 등분산성 가정의 만족 유무를 판단하기 위해 샤피로-윌크 검정을 수행하여 수치형 변수에 대해 정규성 분포를 띄고 있지 않음을 확인하였다. 모수 검정이 불가하다는 판단 후 비모수 검정인 크루스칼-왈리스 검정을 시행하여 귀무가설(예보데이터와 관측데이터의 분포는 같다.)과 대립가설(예보데이터와 관측데이터의 분포는 같지 않다.)을 정립하여 검증하였다. 수치형 변수들의 절대 오차값을 기준하여 백분율로 정확도를 산출할 수는 없었지만, 정규성 분포에 대한 검증과 비모수 검정을 통해 예보값과 실측값의 분포가 같지 않음을 검증함으로써 저고도 항공기상 예보가 부정확하다는 것을 확인하였다.

정확도 검증 및 비교를 위해 2017년 12월 1일부터 2018년 11월 30일까지 1년간 서산공항, 군산공항의 TAF와 태안비행장 AMOS 시간별 데이터를 사용하여 정확도 분석 결과 동일 공항의 TAF와 METAR 데이터 비교로 산출된 정확도와 인근 공항 TAF와 태안비행장의 AMOS 데이터 비교로 산출된 정확도는 유사한 절대오차를 가지는 것으로 분석되었다. 서산공항 및 군산공항의 TAF와 인근 비행장인 태안비행장의 AMOS자료를 비교하여 MAE 정확도 절대오차를 바탕으로 분석 결과, 동일 공항내에서의 분석 결과와 동일하게 예보값과 실측값의 분포가 같지 않음을 추정할 수 있다.

저고도항공기 조종사들의 대부분은 기상정보의 활용과 함께 중요성에 대한 인식을 같이하고 있다. 그러나 기상정보의 이용 채널은 대부분 해외의 기상서비스를 이용하고 있으며, 특히, 국내 기상서비스에 대한 불만족의 이유는 기상정보의 정확도가 낮기 때문이라는 이유가 대부분이었다. 해외서비스인 WindGURU의 경우, 50km 격자의 전지구 모델 결과를 사용하였다고 하더라도 항공스포츠에 필요한 정보를 사용자가 원하는 지점에 대해서 제공하고 있기 때문에 기상청의 동네예보 자료보다 더 정확할 수는 있다. 그렇지만 전문가 및 실제 사용자들의 의견에 따르면 WindGURU라고 해도 항상 맞는 것은 아니며, 이 서비스에 대해서도 기상정보가 부정확하다거나 필요한 기상정보가 없다는 의견들이 있기 때문에, 이러한 의견들을 잘 종합하여 국내에 적합한 저고도항공기 조종사를 위한 기상정보를 제공한다면 국내 기상서비스에 한 불신감 해소에 도움이 될 것이다. 그러나 WindGURU는 항공스포츠 기상서비스로서의 확실한 이미지가 구축되어 있고, 무료로 대부분의 서비스를 이용할 수 있는 장점이 있어서 사용자들에게 인정을 받는 서비스로 자리 잡기 위해서는 국내 기상서비스 주체들의 상당한 노력이 요구된다.

따라서 디지털 정보 수신 매체를 통해 기상정보에 자유롭게 접근할 수 있는 유비쿼터스 환경하에 해상의 다양하고 세부적인 기상정보와 좁은 지역에서 국지적으로 급격히 변하는 산악기상, 저고도항공기의 위치추적형태의 기상정보 등을 활용하여 저고도항공기 비행경로에 적합한 real time의 자동 기상정보 제공 등으로 다양한 기상상황에 대비할 수 있는 여건을 마련하여야 한다. 이를 위해 USN 및 Mobile 센싱기술 접목, 항공 기상관측 장비 추가 설치, 고속도로 및 산림청 관할 CCTV(closed-circuit television, 폐쇄회로)를 이용한 비행 시정치 활용과 도로기상정보시스템(RWIS; road weather information system)을 이용한 시정치 이용 등과 IoT 기반의 차량, 타항공기, 스마트폰 및 드론에서 수집된 기상자료를 통해 아격자를 축소시키고, 지상기상관측 장비(AWS 등)을 지원, 인공지능기반의 분석 처리를 바탕으로 분석/모델링과 예보/생산 분야의 정확도를 향상시키는 등 관측/감시, 모델링/분석 및 예보/생산 분야에 IoT, 인공지능 및 드론 등을 활용하여 기상예보의 정확도를 향상시킬 수 있다[8]. 또한, CCTV, 드론 및 차량용 기상관측 장비를 통하여 장비의 대체 및 선진화를 강구하고, IoT를 접목시켜 국내 기술력 및 장비의 고도화를 이루는 등의 노력이 필요하다.

References

1.

An, Y, J, Chang, J, W, and Kim, G, Y., “Analysis of low level cloud prediction in the KMA local data assimilation and prediction system”, The Korean Society for Aviation and Aeronautics, 25(4), 2017, pp. 124-129.

2.

Ryu, S, B, and Park, J, S., “Theory of meteorological statistics”, Chonnam National University Publishing Company, 2012.

3.

Cort, J. W., and Kenji, M., “Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance”, Center for Climatic Research, Department of Geography, University of Delaware. Newark, Delaware 19716, USA, 2005.

4.

Chai, T., and Draxler, R. R., Geoscientific Model Development, Root mean square error (RMSE) or mean absolute error (MAE)? – Arguments against avoiding RMSE in the literature, ISSN 1991-959X(Print), 1991-9603(Online), 2014.

5.

Kim, S, R., “A Study of Low Level Windshear on the Incheon International Airport Used LLWAS”, 2011, pp. 17-18.

6.

Lee, C. M., “The Effect of Regular Nordic Walking Exercise on Physical Index and Subjective Happiness of Middle-aged Rural Residents”, 2017, pp. 27-29.

7.

Cho, M, H., “The effect of defense attorney’s participation on confirmation bias of decision maker in criminal investigations”, 2019, p. 26.

8.

Current Status and Improvement of Mobile Weather Monitoring Vehicle, Gangneung-Wonju National University, National Institute of Meteorological Sciences, 2018, p. 23.