PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:1,593)
Ⅰ. 서 론
항공 산업 발전에 따라 항공기 조종사의 수요는 증가 하고 있으며 그에 따라 전 세계적으로 VR·AR과 같은 디지털 기술을 활용해 조종사를 정량적으로 훈련 및 평가하는 PTN(pilot training next) 프로그램이 활발히 연구되고 있다(Fig. 1). Table 1은 ICAO Next Generation of Avation Professionals Global Summit에서 발표한 자료를 바탕으로 향후 2030년까지의 조종사 인력 수요를 예측한 내용이다.
조종사의 비행 훈련 시 조종사는 지속적으로 조종석과 외부로 시야를 적절하게 분배하는 ‘Visual Scanning Technique’이 매우 중요하다(Ziv, 2016). 그러나 기존 훈련 방식은 도제식(Apprentice) 훈련 방법으로 실제 조종사의 시선을 평가 및 분석하는 정량적 평가에 어려움이 있다(Fig. 2).
현재 조종사의 시선 추적을 위해서는 FTD(flight training device) 및 시뮬레이션(SW) 환경과 동기화가 가능한 고가의 시선 추적 장비가 필요해 현재 모든 조종사 훈련 체계에 적용이 어려운 실태이다.
본 연구에서는 기존 시스템의 다른 접근 방식의 조종사 시선추적이 가능한 VR HMD 시뮬레이터를 통해 비행 시뮬레이션 환경에서 조종사의 시선 추적 및 착륙 결과를 분석하였다.
Ⅱ. 본 론
조종사의 시선 추적 데이터를 추출 및 착륙 데이터를 분석하기 위해 신뢰성이 높은 사업용 조종사 자격(Commercial Pilot License)을 보유하고 있는 실험 참가 대상 조종사를 모집하였다. 실험 조종사는 총 5명으로 모집하였으며, 실험 비행 절차인 정밀 계기 접근 절차와 G1000 디지털 계기를 활용하여 비행 경험이 있는 조종사로 Table 2와 같이 모집하였다(Alfred, 2004).
| 조종사 | 훈련 기종 | 최종 비행자격 |
|---|---|---|
| 조종사 A | C208 / C172 | CPL |
| 조종사 B | DA42 / C172 | ATPL |
| 조종사 C | PA44 / C172 | CPL |
| 조종사 D | DA42 / C172 | CPL |
| 조종사 E | PA44 / C172 | CPL |
본 실험에 활용되는 VR 시뮬레이터 구축에 있어서는 FAA CFR(Code Federal Regulation) Part 41 및 141을 참고하여 모의 비행 장치 4가지 필수적인 구성 요소(vision system, flight control system)를 적용하여 VR HMD 기반 시각 시스템을 가진 시뮬레이터를 Table 3과 같이 구축하였다(정구문 외, 2018).
| 항목 | 성능 및 특징 |
|---|---|
| 스크린 | 3.5 inch(대각선) |
| 해상도 | 2,880 × 1,600 픽셀 |
| 재생률 | 90 Hz |
| 시야각 | 110° |
| 내장 센서 | G-Sensor(가속도계) 자이로스코프 동공거리조절 센서 |
VR HMD 시각 시스템은 조종사의 6-D.O.F. 헤드 트래킹(head tracking)과 2-D 동공 트래킹(eye tracking)이 가능한 HTC사의 Vive Pro Eye를 사용하였다(Fig. 3).
실험 절차는 조종사가 착륙 시 반복적인 조종석 스캐닝(cockpit scanning)을 통해 외부 시야 확인 및 조종석 계기 정보를 확인하는 절차가 중요하게 적용 되는 ILS(instrument landing system)정밀 계기 접근 절차(precision instrument landing procedure)로 선정하였다.
실험 착륙 절차는 울산 공항(RKPU) 활주로 36번 접근 및 착륙하는 절차로 구성하였으며 세부 절차는 국토부에서 발간한 AIM을 활용하여 조종사에게 제공하였다.
조종사는 시뮬레이션 내 구현된 G1000 계기를 통해 Localizer와 Glide Slope 활성화 아래 실험에 임하였으며 조종사 계기는 Fig. 4와 같다.
본 연구는 조종사가 착용하고 있는 VR HMD와 여기에 탑재된 각속도 센서를 통해 Head Tracking 데이터를 추출하였으며 조종사의 시선정면에 시야점이 위치함으로 가정된 조종사 Eye Tracking 데이터를 활용해 시선 데이터를 프로세싱하였다(Fig. 5).
조종사의 Head Tracking 데이터는 조종사가 착용하고 있는 VR HMD에 부착된 각속도 센서 정보를 실시간으로 추적하는 센서 트래커(seonsor tracker)를 통해 1초에 3세트씩 3-D.O.F. Head Tracking 데이터를 계측하였다(Fig. 6).
VR HMD의 센서를 통해 계측된 Head Tracking 데이터는 비행 시뮬레이션 프로그램인 X-Plane 11 내부에서 조종사 시점 데이터와 동기화되어 비행 데이터와 함께 log로 기록되었다(Fig. 7).
VR HMD 시선 데이터는 시뮬레이션 내 조종사 시점과 동기화되어 기록되므로 항공기의 자세각과 조종사 시선 운동은 커플링되어 있다. 따라서 시점 데이터로부터 항공기의 자세각을 빼줌으로써 Head Tracking 데이터를 추출하였다(Fig. 8).
실험 비행 절차를 통해 추출된 조종사의 시선 데이터는 산발적이며 측정 기준 영역이 없기 때문에 정확한 조종사의 시선 추적이 어렵다(Fig. 9).
이러한 문제로 조종사 시선 데이터의 영역 확인을 위해 화면의 영역을 선택하고 해당 영역에 대해 구체적으로 시야 정착점(fixation)을 통계적으로 계산하는 AOI(areas of interest) 개념을 통해(이원재 외, 2018) 조종사의 시선 추적을 진행하였다.
조종사의 시선 데이터 추적을 위해 2개의 외부 AOI 와 4개의 내부 AOI로 구성되어 있는 총 6개의 Cockpit AOI를 설정하였으며, 외부 AOI에는 활주로(runway), 외부시야(external) 2개, 내부 계기 AOI에는 PFD Upper, PFD Lower, ND Left, ND Right의 4가지로 AOI를 구성하였다(Fig. 10).
AOI 영역 설정 이후 조종사로부터 추출된 시선 데이터의 영역을 구분하기 위해 사전 각 조종사로부터 추출된 AOI 계측 결과를 토대로 조종사 시선 추적 데이터를 프로세싱 하였다(Fig. 11).
이를 기반으로 AOI 내 조종사의 시야 정착점 데이터의 분포량을 통해 AOI 영역별 Value를 계산하였다. AOI 시선 데이터의 Value 계산은 식 (1)과 같다.
H : 전체 데이터의 수
AOIN : 해당 AOI 내 데이터의 수
이후 AOI 별 계산된 조종사 시선 데이터 value를 각 계기, 외부시야 AOI 영역에 맞춰 사용자가 직관적으로 판단 가능한 히트맵(heat map) 형태로 표현하였다(Fig. 12).
실험을 통해 추출 및 가공된 조종사 시선 데이터에 따른 착륙 결과 분석을 위해 착륙 결심 고도(decision altitude) 500 ft 전, 후의 실험 조종사의 접근 데이터를 분석하였다.
분석 데이터는 조종사가 계기 접근 시 조종석 내 계기에 표시되어 착륙 활주로로 접근을 유도받는 로컬라이져(localizer: LOC)와 글라이드 슬롭(glideslope: G/S)에 대한 항목을 분석 데이터로 선정하였다(Andreas, 2014).
데이터의 세부 분석 방법은 Table 4와 같다.
| 데이터 분석 방법 | 데이터 항목 |
|---|---|
| RMSE | Altitude localizer deviation |
| AOI value | Pilot gaze tracking |
데이터 분석은 VR HMD 시뮬레이터를 통해 추출한 데이터를 RMSE(평균 제곱근 편차) 계산을 통해 산출하였으며 RMSE 계산은 식 (2)와 같다.
Target Value : 항목별 표준 비행 데이터
Oberserved Value : 항목별 실험 비행 데이터
n : 데이터 개수
Fig. 13 및 Table 5는 실험에 참여한 각 조종사의 결심고도인 500 ft 이전 분포된 시선 데이터 분석 결과이다.
| 결심 고도(DH) 이전 시선 데이터(value) | ||||||
|---|---|---|---|---|---|---|
| AOI | 1 | 2 | 3 | 4 | 5 | 6 |
| 조종사 A | 34.4 | 54.8 | 0.1 | 0.1 | 6.2 | 4.2 |
| 조종사 B | 30.1 | 66.1 | 0.1 | 0.4 | 1.9 | 1.3 |
| 조종사 C | 64.9 | 23.3 | 0 | 0 | 0 | 11.6 |
| 조종사 D | 67.4 | 26.4 | 0 | 0 | 0.7 | 5.4 |
| 조종사 E | 48.6 | 51.3 | 0 | 0 | 0 | 0 |
분석 결과, 결심 고도 이전까지 주로 분포된 모든 조종사의 시선 영역은 localizer와 glideslope 정보가 표현된 PFD계기에 집중돼 있음을 확인할 수 있다.
Fig. 14 및 Table 6은 실험에 참여한 각 조종사의 결심고도인 500 ft 이후 분포된 시선 추적 결과이다.
| 결심 고도(DH) 이후 시선 데이터(value) | ||||||
|---|---|---|---|---|---|---|
| AOI | 1 | 2 | 3 | 4 | 5 | 6 |
| 조종사 A | 3.2 | 0 | 0 | 0 | 60 | 36.7 |
| 조종사 B | 0.5 | 0 | 0 | 0 | 54.7 | 44.7 |
| 조종사 C | 0 | 0 | 0 | 0 | 42.6 | 57.3 |
| 조종사 D | 19.7 | 0 | 0 | 0 | 17.4 | 62.7 |
| 조종사 E | 0.45 | 0 | 0 | 0 | 54.1 | 45.4 |
분석 결과, 결심 고도 이후의 조종사는 계기의 정보를 이전보다 부분적으로 참고하지만 주로 Visual 방식으로 착륙해 조종사의 시선이 외부 시야, 즉 활주로 방향에 집중됨을 확인하였다.
Table 7 및 Table 8은 결심고도 전·후 접근 시 각 조종사의 Localizer와 Glideslope의 평균 제곱근 편차다
| 결심고도(DH) 이전 접근 데이터 편차 | ||
|---|---|---|
| LOC(Dot) | G/S(ft) | |
| 조종사 A | 0.07 | 80.53 |
| 조종사 B | 0.25 | 34.55 |
| 조종사 C | 0.13 | 38.63 |
| 조종사 D | 0.18 | 64.33 |
| 조종사 E | 0.40 | 37.78 |
| 결심고도(DH) 이후 접근 데이터 편차 | ||
|---|---|---|
| LOC(Dot) | G/S(ft) | |
| 조종사 A | 0.082 | 39.07 |
| 조종사 B | 0.2781 | 51.38 |
| 조종사 C | 0.081 | 20.80 |
| 조종사 D | 0.070 | 34.66 |
| 조종사 E | 0.1396 | 57.54 |
분석 결과, 결심 고도 전·후에 따라 조종사의 시선 처리가 달라지며 접근 및 착륙의 결과 또한 각 조종사 별 달라짐을 확인하였다.
Ⅲ. 결 론
본 연구에서는 VR HMD 시뮬레이터를 구성하여 사업용 조종사 자격을 보유한 실험 조종사를 대상으로 계기 접근 착륙 절차를 통해 시선 데이터와 비행 데이터를 추출 후 분석하였다.
결심고도인 500ft 전, 후 조종사의 시선을 추적 및 분석한 결과, 결심고도 이전까지는 주로 PFD 계기에, 결심고도 이후부터는 주로 외부시야 방향으로 시선이 집중됨을 확인하였다.
이를 통해 조종사의 시선 추적과 정량적 분석이 가능하며 시선 처리에 따라 조종사 행동에 대한 평가 및 판단이 가능함을 확인하였다. 시선 추적을 통한 시각 정보를 획득하는 것은 훈련 단계뿐만 아니라 비행 능력 평가, 피로 및 스트레스와 같은 인적 요인을 파악할 때 정량적 지표로 활용될 수 있을 것으로 기대된다.
또한 VR HMD 기반 시뮬레이터 환경을 통해 조종사의 human factor와 같은 요소를 정량적으로 획득 및 분석할 수 있을 것으로 예상된다.
그러나 더욱 정밀한 시선 추적을 위해서는 모든 2-D 영역내 동공 추적 데이터를 포함한 동시 분석이 진행되어야 신뢰도가 높은 결과를 도출 가능하다고 판단하였다.
