Journal of the Korean Society for Aviation and Aeronautics
The Korean Society for Aviation and Aeronautics
Original Article

VR HMD 시뮬레이터를 활용한 조종사 시선 추적 및 착륙 절차 결과 분석

정구문*, 이영재**, 곽태호*, 이재우***
Gu Moon Jeong*, Youngjae Lee**, TaeHo Kwag*, Jae-Woo Lee***
*건국대학교 항공우주정보시스템공학과 석사과정
**건국대학교 항공우주정보시스템공학과 박사과정
***건국대학교 항공우주정보시스템공학과 교수
연락저자 E-mail : jwlee@konkuk.ac.kr 연락저자 주소 : 서울시 광진구 능동로 120 건국대학교

© Copyright 2022 The Korean Society for Aviation and Aeronautics. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Feb 05, 2021; Revised: Nov 22, 2021; Accepted: Mar 28, 2022

Published Online: Mar 31, 2022

ABSTRACT

This study performed precision instrument landing procedures for pilots with a commercial pilot license using VR HMD flight simulators, and assuming that the center of the pilot's gaze is in the front, 3-D.O.F. head tracking data and 2-D eye tracking of VR HMD worn by pilots gaze tracking was performed through. After that, AOI (Area of Interesting) was set for the instrument panel and external field of view of the cockpit to analyze how the pilot's gaze was distributed before and after the decision altitude. At the same time, the landing results were analyzed using the Localizer and G/S data as the pilot's precision instrument landing flight data. As a result, the pilot was quantitatively evaluated by reflecting the gaze tracking and the resulting landing result using a VR HMD simulator.

Keywords: Pilot Training(조종사 훈련); Virtual Reality Training(가상 현실 훈련); Flight Training Device(모의 비행장치); VR HMD(VR 헤드셋); Adaptive Pilot Training(적응형 조종사 훈련)

Ⅰ. 서 론

1.1 항공 산업 및 훈련체계 발전

항공 산업 발전에 따라 항공기 조종사의 수요는 증가 하고 있으며 그에 따라 전 세계적으로 VR·AR과 같은 디지털 기술을 활용해 조종사를 정량적으로 훈련 및 평가하는 PTN(pilot training next) 프로그램이 활발히 연구되고 있다(Fig. 1). Table 1은 ICAO Next Generation of Avation Professionals Global Summit에서 발표한 자료를 바탕으로 향후 2030년까지의 조종사 인력 수요를 예측한 내용이다.

jksaa-30-1-44-g1
Fig. 1. Pilot training next program
Download Original Figure
Table 1. ICAO 조종인력 수요예측(단위: 명)
구분 2010년 조종사 현황 2030년 필요 조종사 예상 연간 필요 조종사 현황 연간 조종사 양성 능력 조종사 과부족 현황
Africa 4,258 (1%) 68,339 4,701 1,010 –3,691
Asis/ Pacific 50,344 (11%) 290,844 18,257 4,935 –13,322
Europe 85,306 (18%) 325,668 20,127 7,955 –12,172
Latin America 24,065 (5%) 123,774 7,849 1,945 –5,904
Middle East 9,202 (2%) 50,020 3,233 860 –2,373
North America 290,211 (63%) 355,361 15,169 27,655 12,486
World 463,386 (100%) 1,214,006 69,338 44,260 –24,978
Download Excel Table
1.2 Visual Scanning Technique

조종사의 비행 훈련 시 조종사는 지속적으로 조종석과 외부로 시야를 적절하게 분배하는 ‘Visual Scanning Technique’이 매우 중요하다(Ziv, 2016). 그러나 기존 훈련 방식은 도제식(Apprentice) 훈련 방법으로 실제 조종사의 시선을 평가 및 분석하는 정량적 평가에 어려움이 있다(Fig. 2).

jksaa-30-1-44-g2
Fig. 2. Visual scanning technique
Download Original Figure

현재 조종사의 시선 추적을 위해서는 FTD(flight training device) 및 시뮬레이션(SW) 환경과 동기화가 가능한 고가의 시선 추적 장비가 필요해 현재 모든 조종사 훈련 체계에 적용이 어려운 실태이다.

본 연구에서는 기존 시스템의 다른 접근 방식의 조종사 시선추적이 가능한 VR HMD 시뮬레이터를 통해 비행 시뮬레이션 환경에서 조종사의 시선 추적 및 착륙 결과를 분석하였다.

Ⅱ. 본 론

2.1 실험 조종사 모집 및 VR 시뮬레이터 구축

조종사의 시선 추적 데이터를 추출 및 착륙 데이터를 분석하기 위해 신뢰성이 높은 사업용 조종사 자격(Commercial Pilot License)을 보유하고 있는 실험 참가 대상 조종사를 모집하였다. 실험 조종사는 총 5명으로 모집하였으며, 실험 비행 절차인 정밀 계기 접근 절차와 G1000 디지털 계기를 활용하여 비행 경험이 있는 조종사로 Table 2와 같이 모집하였다(Alfred, 2004).

Table 2. 실험 조종사 모집
조종사 훈련 기종 최종 비행자격
조종사 A C208 / C172 CPL
조종사 B DA42 / C172 ATPL
조종사 C PA44 / C172 CPL
조종사 D DA42 / C172 CPL
조종사 E PA44 / C172 CPL
Download Excel Table

본 실험에 활용되는 VR 시뮬레이터 구축에 있어서는 FAA CFR(Code Federal Regulation) Part 41 및 141을 참고하여 모의 비행 장치 4가지 필수적인 구성 요소(vision system, flight control system)를 적용하여 VR HMD 기반 시각 시스템을 가진 시뮬레이터를 Table 3과 같이 구축하였다(정구문 외, 2018).

Table 3. HTC Vive Pro Eye 주요 제원[4]
항목 성능 및 특징
스크린 3.5 inch(대각선)
해상도 2,880 × 1,600 픽셀
재생률 90 Hz
시야각 110°
내장 센서 G-Sensor(가속도계)
자이로스코프
동공거리조절 센서
Download Excel Table

VR HMD 시각 시스템은 조종사의 6-D.O.F. 헤드 트래킹(head tracking)과 2-D 동공 트래킹(eye tracking)이 가능한 HTC사의 Vive Pro Eye를 사용하였다(Fig. 3).

jksaa-30-1-44-g3
Fig. 3. VR HMD based flight simulator
Download Original Figure
2.2 실험 비행 절차 설계

실험 절차는 조종사가 착륙 시 반복적인 조종석 스캐닝(cockpit scanning)을 통해 외부 시야 확인 및 조종석 계기 정보를 확인하는 절차가 중요하게 적용 되는 ILS(instrument landing system)정밀 계기 접근 절차(precision instrument landing procedure)로 선정하였다.

실험 착륙 절차는 울산 공항(RKPU) 활주로 36번 접근 및 착륙하는 절차로 구성하였으며 세부 절차는 국토부에서 발간한 AIM을 활용하여 조종사에게 제공하였다.

조종사는 시뮬레이션 내 구현된 G1000 계기를 통해 Localizer와 Glide Slope 활성화 아래 실험에 임하였으며 조종사 계기는 Fig. 4와 같다.

jksaa-30-1-44-g4
Fig. 4. G1000 digital cokcpit PFD
Download Original Figure
2.3 조종사 시선 데이터 추출

본 연구는 조종사가 착용하고 있는 VR HMD와 여기에 탑재된 각속도 센서를 통해 Head Tracking 데이터를 추출하였으며 조종사의 시선정면에 시야점이 위치함으로 가정된 조종사 Eye Tracking 데이터를 활용해 시선 데이터를 프로세싱하였다(Fig. 5).

jksaa-30-1-44-g5
Fig. 5. Definition of gaze data
Download Original Figure

조종사의 Head Tracking 데이터는 조종사가 착용하고 있는 VR HMD에 부착된 각속도 센서 정보를 실시간으로 추적하는 센서 트래커(seonsor tracker)를 통해 1초에 3세트씩 3-D.O.F. Head Tracking 데이터를 계측하였다(Fig. 6).

jksaa-30-1-44-g6
Fig. 6. VR 3-D.O.F. head tracking
Download Original Figure

VR HMD의 센서를 통해 계측된 Head Tracking 데이터는 비행 시뮬레이션 프로그램인 X-Plane 11 내부에서 조종사 시점 데이터와 동기화되어 비행 데이터와 함께 log로 기록되었다(Fig. 7).

jksaa-30-1-44-g7
Fig. 7. X-Plane 시점(camera) tracking 데이터
Download Original Figure
2.4 조종사 시선 데이터 프로세싱

VR HMD 시선 데이터는 시뮬레이션 내 조종사 시점과 동기화되어 기록되므로 항공기의 자세각과 조종사 시선 운동은 커플링되어 있다. 따라서 시점 데이터로부터 항공기의 자세각을 빼줌으로써 Head Tracking 데이터를 추출하였다(Fig. 8).

jksaa-30-1-44-g8
Fig. 8. Definition of gaze data
Download Original Figure

실험 비행 절차를 통해 추출된 조종사의 시선 데이터는 산발적이며 측정 기준 영역이 없기 때문에 정확한 조종사의 시선 추적이 어렵다(Fig. 9).

jksaa-30-1-44-g9
Fig. 9. Initial pilot gaze tracking data
Download Original Figure

이러한 문제로 조종사 시선 데이터의 영역 확인을 위해 화면의 영역을 선택하고 해당 영역에 대해 구체적으로 시야 정착점(fixation)을 통계적으로 계산하는 AOI(areas of interest) 개념을 통해(이원재 외, 2018) 조종사의 시선 추적을 진행하였다.

조종사의 시선 데이터 추적을 위해 2개의 외부 AOI 와 4개의 내부 AOI로 구성되어 있는 총 6개의 Cockpit AOI를 설정하였으며, 외부 AOI에는 활주로(runway), 외부시야(external) 2개, 내부 계기 AOI에는 PFD Upper, PFD Lower, ND Left, ND Right의 4가지로 AOI를 구성하였다(Fig. 10).

jksaa-30-1-44-g10
Fig. 10. AOI setup
Download Original Figure

AOI 영역 설정 이후 조종사로부터 추출된 시선 데이터의 영역을 구분하기 위해 사전 각 조종사로부터 추출된 AOI 계측 결과를 토대로 조종사 시선 추적 데이터를 프로세싱 하였다(Fig. 11).

jksaa-30-1-44-g11
Fig. 11. Gaze tracking data processing
Download Original Figure

이를 기반으로 AOI 내 조종사의 시야 정착점 데이터의 분포량을 통해 AOI 영역별 Value를 계산하였다. AOI 시선 데이터의 Value 계산은 식 (1)과 같다.

V a l u e = A O I N H × 100 ( % )
(1)

H : 전체 데이터의 수

AOIN : 해당 AOI 내 데이터의 수

이후 AOI 별 계산된 조종사 시선 데이터 value를 각 계기, 외부시야 AOI 영역에 맞춰 사용자가 직관적으로 판단 가능한 히트맵(heat map) 형태로 표현하였다(Fig. 12).

jksaa-30-1-44-g12
Fig. 12. Pilot gaze tracking data using heatmap plot
Download Original Figure
2.5 조종사 착륙 결과 분석 방법

실험을 통해 추출 및 가공된 조종사 시선 데이터에 따른 착륙 결과 분석을 위해 착륙 결심 고도(decision altitude) 500 ft 전, 후의 실험 조종사의 접근 데이터를 분석하였다.

분석 데이터는 조종사가 계기 접근 시 조종석 내 계기에 표시되어 착륙 활주로로 접근을 유도받는 로컬라이져(localizer: LOC)와 글라이드 슬롭(glideslope: G/S)에 대한 항목을 분석 데이터로 선정하였다(Andreas, 2014).

데이터의 세부 분석 방법은 Table 4와 같다.

Table 4. Data analysis methodology
데이터 분석 방법 데이터 항목
RMSE Altitude localizer deviation
AOI value Pilot gaze tracking
Download Excel Table

데이터 분석은 VR HMD 시뮬레이터를 통해 추출한 데이터를 RMSE(평균 제곱근 편차) 계산을 통해 산출하였으며 RMSE 계산은 식 (2)와 같다.

R M S E = i = 1 n ( T arg e t   V a l u e O b s e r v e d   V a l u e ) 2 n
(2)

Target Value : 항목별 표준 비행 데이터

Oberserved Value : 항목별 실험 비행 데이터

n : 데이터 개수

2.6 조종사 착륙 결과 분석

Fig. 13Table 5는 실험에 참여한 각 조종사의 결심고도인 500 ft 이전 분포된 시선 데이터 분석 결과이다.

jksaa-30-1-44-g13
Fig. 13. Pilot gaze tracking heatmap before decision height
Download Original Figure
Table 5. Pilot gaze tracking value per AOI before decision height
결심 고도(DH) 이전 시선 데이터(value)
AOI 1 2 3 4 5 6
조종사 A 34.4 54.8 0.1 0.1 6.2 4.2
조종사 B 30.1 66.1 0.1 0.4 1.9 1.3
조종사 C 64.9 23.3 0 0 0 11.6
조종사 D 67.4 26.4 0 0 0.7 5.4
조종사 E 48.6 51.3 0 0 0 0
Download Excel Table

분석 결과, 결심 고도 이전까지 주로 분포된 모든 조종사의 시선 영역은 localizer와 glideslope 정보가 표현된 PFD계기에 집중돼 있음을 확인할 수 있다.

Fig. 14Table 6은 실험에 참여한 각 조종사의 결심고도인 500 ft 이후 분포된 시선 추적 결과이다.

jksaa-30-1-44-g14
Fig. 14. Pilot gaze tracking heatmap after decision height
Download Original Figure
Table 6. Pilot gaze tracking value per AOI before decision height
결심 고도(DH) 이후 시선 데이터(value)
AOI 1 2 3 4 5 6
조종사 A 3.2 0 0 0 60 36.7
조종사 B 0.5 0 0 0 54.7 44.7
조종사 C 0 0 0 0 42.6 57.3
조종사 D 19.7 0 0 0 17.4 62.7
조종사 E 0.45 0 0 0 54.1 45.4
Download Excel Table

분석 결과, 결심 고도 이후의 조종사는 계기의 정보를 이전보다 부분적으로 참고하지만 주로 Visual 방식으로 착륙해 조종사의 시선이 외부 시야, 즉 활주로 방향에 집중됨을 확인하였다.

Table 7Table 8은 결심고도 전·후 접근 시 각 조종사의 Localizer와 Glideslope의 평균 제곱근 편차다

Table 7. Pilot app & landing data analysis before decision height
결심고도(DH) 이전 접근 데이터 편차
LOC(Dot) G/S(ft)
조종사 A 0.07 80.53
조종사 B 0.25 34.55
조종사 C 0.13 38.63
조종사 D 0.18 64.33
조종사 E 0.40 37.78
Download Excel Table
Table 8. Pilot app & landing data analysis after decision height
결심고도(DH) 이후 접근 데이터 편차
LOC(Dot) G/S(ft)
조종사 A 0.082 39.07
조종사 B 0.2781 51.38
조종사 C 0.081 20.80
조종사 D 0.070 34.66
조종사 E 0.1396 57.54
Download Excel Table

분석 결과, 결심 고도 전·후에 따라 조종사의 시선 처리가 달라지며 접근 및 착륙의 결과 또한 각 조종사 별 달라짐을 확인하였다.

Ⅲ. 결 론

본 연구에서는 VR HMD 시뮬레이터를 구성하여 사업용 조종사 자격을 보유한 실험 조종사를 대상으로 계기 접근 착륙 절차를 통해 시선 데이터와 비행 데이터를 추출 후 분석하였다.

결심고도인 500ft 전, 후 조종사의 시선을 추적 및 분석한 결과, 결심고도 이전까지는 주로 PFD 계기에, 결심고도 이후부터는 주로 외부시야 방향으로 시선이 집중됨을 확인하였다.

이를 통해 조종사의 시선 추적과 정량적 분석이 가능하며 시선 처리에 따라 조종사 행동에 대한 평가 및 판단이 가능함을 확인하였다. 시선 추적을 통한 시각 정보를 획득하는 것은 훈련 단계뿐만 아니라 비행 능력 평가, 피로 및 스트레스와 같은 인적 요인을 파악할 때 정량적 지표로 활용될 수 있을 것으로 기대된다.

또한 VR HMD 기반 시뮬레이터 환경을 통해 조종사의 human factor와 같은 요소를 정량적으로 획득 및 분석할 수 있을 것으로 예상된다.

그러나 더욱 정밀한 시선 추적을 위해서는 모든 2-D 영역내 동공 추적 데이터를 포함한 동시 분석이 진행되어야 신뢰도가 높은 결과를 도출 가능하다고 판단하였다.

후 기

본 연구는 국토교통부/국토교통과학기술진흥원(과제번호: 20CTAP-C152021-02), 한국연구재단(No. 2020 R1A6A1A03046811), 산업통상자원부/한국산업기술진흥원(산업용 무인비행장치 전문인력 양성사업, 과제번호: N0002431), 2021학년도 건국대학교의 연구년교원 지원을 통해 수행된 과제임.

References

1.

Sainarayan, A., “Aviation Personnel Forecasts”, NGAP, Shenzhen, China, 2018.

2.

Ziv, G., “Gaze behavior and visual attention: a review of eye tracking studies in aviation”, International Journal of Aviation Psychology, 26(3-4), 2016, pp.75-104.

3.

Gu, M. J., Lee, Y., Lee, C. H., Kim, M. K., and Lee, J.-W., “Flight training efficiency about basic aviation training device (BATD) using VR head mount display”, Journal of the Korean Society for Aviation and Aeronautics, 26(2), 2018, pp.1-7.

4.

VIVE Developers, “VIVE Pro Eye Spec & User Guide”, https://developer.vive.com/resources

5.

Lee, W. J., Kim, C. H., and Kim, S., “Comparison of eye tracking features between expert and novice pilots during landing”, Journal of the Ergonomics Society of Korea, 37(6), 2018, pp.713-720.

6.

Haslbeck, A., Kirchner, P., Schubert, E., and Bengler, K., “A flight simulator study to evaluate manual flying skills of airline pilots”, Proceedings of the Human Factors and Ergonomics Society 58th Annual Meeting, 2014, pp.11–15.