Eye-Tracking 기반 비행훈련 교육피드백 모델(EFM) 설계 연구

EFM은 비행훈련 과정에서 수집된 시선 데이터를 교육적 피드백 과정과 연계하기 위한 교육 피드백 프레임워크이다. 본 프레임워크는 시선정보의 수집(data collection) – 전처리(preprocessing) – 분석(analysis) – 피드백(feedback) 과정을 기반으로 학생조종사의 시각적 행동 특성을 분석하고, 이를 교관 피드백과 반복훈련에 반영할 수 있도록 설계되었다.

각 단계는 시선 데이터의 수집부터 교육적 활용까지의 흐름을 체계적으로 연결한다. 이러한 단계적 구성은 시선 데이터 기반 수행진단 결과를 교육훈련 피드백 과정과 연계하기 위한 EFM의 운영 흐름을 반영한다.

Fig. 2는 EFM의 기본 구조를 나타낸다. EFM은 데이터 수집, 전처리, 분석, 피드백의 단계적 구조로 구성되며, 각 단계는 시선 데이터 기반 교육 피드백 과정을 설명하기 위한 요소로 구성된다.

Fig. 2. Conceptual structure of the eye tracking–based educational feedback model (EFM)

Download Original Figure

각 단계에서 생성된 시선 데이터는 학습 이력 형태로 축적될 수 있으며, 학생조종사의 수행 변화 특성을 분석하기 위한 참고자료로 활용될 수 있다. 이러한 구조는 시선 데이터 기반 피드백 결과를 반복훈련 과정과 연계할 수 있는 방향을 제시한다.

EFM에서 AOI(area of interest) 분석은 학생조종사의 시선이 주요 항공계기 또는 외부 시야에 어떻게 분포되는지를 분석하기 위한 핵심 과정으로 구성된다. AOI는 비행 수행 중 조종사가 정보를 획득하는 주요 시각 영역을 의미하며, 시선추적 연구에서 주의집중 특성을 분석하기 위한 단위로 활용된다.

본 연구에서는 자세계, 속도계, 고도계, 방향지시계 등을 대표 AOI 예시로 제시하였으며, 학생조종사의 절차 수행 과정에서 필수 정보 확인 여부를 분석할 수 있는 영역으로 활용 가능성을 검토하였다. 이를 통해 특정 계기에 시선이 집중되거나 필수 계기 확인 빈도가 낮게 나타나는 시각적 탐색 패턴을 분석할 수 있다(Holmqvist et al., 2011).

AOI 분석에서는 fixation ratio(시선집중비율)와 dwell time(응시시간) 등의 지표를 활용하여 시각적 주의 분포 특성을 해석한다(Holmqvist et al., 2011). 또한 fixation과 saccade 기반 분석은 조종사의 시각적 탐색 전략과 정보처리 특성을 해석하기 위한 기초 지표로 활용될 수 있다(Salvucci and Goldberg, 2000). 이러한 지표들은 학생조종사의 시각적 탐색 특성을 비교·분석하기 위한 참고자료로 활용될 수 있다.

Fig. 3은 AOI 기반 시각적 주의 분석 절차를 도식화한 것이다. 데이터 정제 이후 AOI 단위의 시선집중 특성을 분석하고, 그 결과를 시각화 자료 형태로 제시하여 교관이 학생조종사의 시각적 탐색 경향을 참고할 수 있도록 구성하였다.

Fig. 3. AOI-based attention analysis procedure in EFM

Download Original Figure

전이패턴(transition pattern) 분석은 학생조종사의 시각적 주의가 시간의 흐름에 따라 어떠한 순서로 이동하는지를 분석하기 위한 과정이다. 이는 AOI 분석에서 나타나는 공간적 시선집중 특성을 시간적 연속성의 관점에서 해석함으로써, 학생조종사의 절차적 탐색 흐름을 분석하기 위한 구조로 활용된다(Di Nocera et al., 2007; Holmqvist et al., 2011).

전이패턴 분석은 AOI 간 시선 이동 경로를 전이행렬(transition matrix) 형태로 구성하고, 각 이동 경로의 빈도와 방향성을 산출하는 절차로 이루어진다. 이러한 시선 이벤트의 식별은 fixation과 saccade의 구분을 기반으로 수행되며(Salvucci and Goldberg, 2000), 이를 통해 학생조종사의 시선 이동 흐름과 계기 탐색 순서를 분석할 수 있으며, 특정 계기 간 반복적 이동이나 scan flow 특성을 시각적으로 확인할 수 있다(Holmqvist et al., 2011).

Fig. 4는 전이패턴 분석의 개념적 흐름을 도식화한 것이다. 원시 시선 데이터는 AOI 분류 과정을 거친 뒤, AOI 간 이동 경로를 기반으로 전이행렬이 구성된다. 이후 AOI 간 이동 빈도를 산출하고, 결과는 flow diagram 또는 matrix 형태로 시각화된다. 이러한 시각화 자료는 교관이 학생조종사의 정보탐색 순서와 시각적 탐색 경향을 참고하기 위한 자료로 활용될 수 있다(EASA, 2025).

Fig. 4. Conceptual flow of transition analysis

Download Original Figure

전이 기반 접근은 조종사 scan pattern 연구에서 인지적 작업부하 및 시각적 탐색 특성과의 관계를 해석하는 방법으로 활용되어 왔으며(van Gerven et al., 2002; Di Nocera et al., 2007), 국내 연구에서도 HMM(Hidden Markov model)을 활용한 전이분석 사례가 보고된 바 있다(Lee and Cho, 2025). 이러한 연구 흐름을 바탕으로, 본 연구는 전이패턴 기반 구조를 비행훈련 피드백 과정에 활용하기 위한 교육적 분석 틀로 제안하였다.

EFM의 최종 단계는 분석 결과를 시각화하여 학생조종사와 교관이 시각적 탐색 특성을 이해할 수 있도록 제시하는 피드백 단계이다. 본 단계는 시선 데이터 기반 분석 결과를 교육적 디브리핑 과정과 연계하기 위한 피드백 절차를 제시한다(EASA, 2025). 시각화 피드백은 다음과 같은 세 가지 형태로 구성된다.

첫째, heatmap visualization은 시선 분포를 색상 강도로 표현하여 학생조종사의 주의 집중 영역을 직관적으로 제시한다(Holmqvist et al., 2011).

둘째, AOI focus ratio graph는 AOI별 주시시간 비율을 비교하여 주의 분포 특성을 확인할 수 있도록 한다(Di Nocera et al., 2007; Holmqvist et al., 2011).

셋째, transition-based visualization은 AOI 간 이동 흐름을 도식화하여 정보 탐색 순서와 시선 이동 흐름을 시각적으로 확인할 수 있다. 이러한 시각화 결과는 피드백과 반복훈련 과정 간의 연계를 지원하는 자료로 활용될 수 있으며, 교육적 디브리핑 자료로 활용 가능하다.

Fig. 5는 EFM에서 생성되는 시각화 기반 피드백의 개념적 예시를 제시한다. AOI 설정, 시선 분포 시각화, 그리고 순환형 피드백 구조가 통합되어, 분석 결과가 교육 피드백 과정과 연계되는 흐름을 나타낸다.

Fig. 5. Visualization-based feedback example in EFM

Download Original Figure

EFM의 통합 프레임워크는 시선데이터 기반 분석 결과를 다음 훈련 설계 과정과 연계하기 위한 순환형 교육 피드백 구조이다. 이는 비행훈련 과정에서 반복훈련과 피드백 간의 연계 흐름을 설명하기 위한 교육적 프레임워크에 해당한다.

본 연구에서 제시한 통합 구조는 requirement analysis → training objective setting → training scenario development → eye tracker utilization design → evaluation and feedback의 다섯 단계로 구성된다. 각 단계는 상호 연계된 구조로 구성되며, 평가 결과는 feedback loop를 통해 훈련 목표 및 시나리오 설계 과정과 연결된다.

Fig. 6은 요구분석에서 평가·피드백에 이르는 전 과정을 순환 구조로 제시한다. 특히 평가 결과는 다음 훈련 설계 단계로 피드백되어, 데이터 기반 피드백 결과를 반복훈련 설계 과정과 연계하는 개념적 구조를 나타낸다. 이를 통해 수행 결과와 피드백, 시나리오 개선 과정 간의 연계 흐름을 설명한다.

Fig. 6. Integrated EFM framework with feedback loop

Download Original Figure

예를 들어, 접근(approach) 단계에서 학생조종사의 시선 데이터를 분석한 결과, 자세계에 대한 과도한 fixation과 속도계 및 활공경로에 대한 주시 부족이 확인될 수 있다. 이러한 분석 결과는 heatmap 및 AOI focus ratio 형태로 시각화되어 교관 디브리핑 과정에서 활용되며, 학생조종사의 주의 편중 및 정보 탐색 특성과 시선 분포 경향을 시각적으로 제시할 수 있다.

이후 반복훈련 단계에서는 해당 결과를 반영하여 속도 유지 및 경로 관리에 대한 시각적 스캔 패턴 개선을 목표로 훈련 시나리오가 재설계되며, 이러한 과정은 EFM의 feedback loop 구조를 통해 지속적으로 피드백된다. 이를 통해 EFM은 수행진단 결과를 단순 분석에 그치지 않고, 교육훈련 피드백 과정과 반복훈련 설계 간의 연계 가능성을 제시하는 개념적 프레임워크로 활용될 수 있다.