시선추적을 활용한 장주비행 단계별 헬리콥터 조종사 시선 행동 변화 분석

상황인식은 조종사가 비행 중에 변화하는 항공기 상태와 주변 환경을 지속적으로 파악하는 인지 과정을 의미한다. Endsley(1995)의 3단계 모델에 따르면 상황인식은 주변 환경 요소를 인식하는 지각(perception) 단계, 지각된 정보를 종합하여 현재 상황을 파악하는 이해(comprehension) 단계, 이를 바탕으로 미래 상태를 예측(projection)하는 단계로 구성된다. 실제로 Jones & Endsley(1996)가 항공 상황인식 오류 사례를 분석한 결과에서 오류의 약 76%가 정보의 지각 단계에서 발생하였으며, 시각적인 정보를 놓치는 것이 상황인식 저하의 가장 큰 원인이었다. 따라서 시선 행동은 상황인식의 지각 단계를 반영하는 관찰 가능한 지표가 된다.

시선추적기술은 적외선 광원과 카메라로 눈 움직임과 동공 변화를 측정하여 시각적 행동과 인지 과정을 정량적으로 분석하는 기술이다. 시선 데이터는 시선이 한 지점에 일정 시간 머무는 주시(fixation)와 주시 사이의 빠른 이동인 시선도약(saccade)으로 구분되고 대부분의 시선 지표는 이를 기반으로 산출된다. 최근에는 안경 형태의 경량 장비가 발전하여 실제 작업 환경에서도 시선 측정이 가능해졌다.

항공 분야에서 Kasarskis et al.(2001)은 시계비행으로 착륙하는 과정에서 전문가와 초보자의 스캔 패턴을 구분하고 전문가의 패턴을 학생조종사 훈련에 적용하면 훈련 효과를 높일 수 있음을 시사하였다. 국내에서는 Cho(2014)가 눈 움직임 분석으로 숙련 조종사와 초급 조종사의 상황인식을 비교하여 시선 지표의 평가 활용 가능성을 보였다. Peißl et al.(2018)은 항공 시선추적 연구 79편을 검토하여 시선추적이 피로와 고부하 상태 탐지, 조종석 설계 검증, 조종사 평가에 활용될 수 있음을 제시하였다.

시선 엔트로피는 시선이 여러 관심영역에 얼마나 넓게 분산되어 있고 다양한 경로로 이동하는지를 수치로 나타내는 지표이다. Krejtz et al.(2015)은 관심영역(area of interest, AOI) 간 시선 전환을 마르코프 연쇄로 모형화하여 두 가지 엔트로피 지표를 제안하였다. 정지엔트로피는 시선이 각 관심영역에 머문 비율이 얼마나 고르게 분산되어 있는지를 나타낸다. 전이엔트로피는 한 영역에서 다음 영역으로의 시선 이동이 얼마나 다양한 경로로 일어나는지를 나타낸다. 따라서 전이엔트로피가 높을수록 여러 영역을 오가는 분산된 스캔을 나타내고 낮을수록 소수의 영역에 집중된 정형적 스캔을 의미한다. Cui et al.(2024)은 여러 과제를 동시에 수행하는 실험환경(MATB-II)에서 커서를 목표 위치에 유지하는 추적 과제가 어려워져 한 화면을 계속 주시해야 할수록 전이엔트로피와 정지엔트로피가 모두 감소하였다.

동공직경은 작업부하를 반영하는 생리 지표이다. Kahneman(1973)과 Beatty(1982)는 동공이 과제 수행 중 처리 부하에 비례하여 확장된다고 보고하였다. Masi et al.(2023)은 항공 분야의 스트레스와 작업부하 평가 방법을 검토하면서 동공 측정을 조종사 작업부하 평가에 유효한 생리 지표로 제시하였다. Fehringer(2021)는 조명 변화의 영향을 받지 않는 동공 기반 작업부하 지표의 활용 조건을 분석하였다.

조종사의 주의 배분은 비행 단계의 특성과 분리하여 설명하기는 어렵다. Wickens et al.(2003)의 SEEV 모델은 조종사의 시선 배분이 특징, 행동, 예상, 중요도에 따라 결정되며, 비행 단계마다 임무와 정보 요구가 달라지면 시선 배분도 함께 달라진다고 하였다. 실제로 Yuan et al.(2025)은 A320 고정익항공기로 장주비행을 수행하면서 심박변이도를 측정하여 조종사의 작업부하가 비행 단계에 따라 차이가 있다고 분석되었다.

Peysakhovich et al.(2022)은 모의비행훈련장치를 활용하여 관심영역 주의비율과 스캔 시퀀스 특징을 결합한 기계학습 모델로 비행 단계를 분류할 수 있음을 시사하였다. 스캔 시퀀스 특징을 결합하였을 때 분류의 정확도가 51.6%에서 64.1%까지 향상됨을 확인하였다. 이는 비행 단계마다 구별되는 고유한 시선 행동이 존재하는 것을 의미한다. 또한 Lounis et al.(2021)은 모의비행훈련장치를 활용한 수동 착륙 환경에서 항공사 조종사 16명과 초보자 16명을 비교하였다. 전문가는 주시가 더 짧고 빈번하였다. 전문가의 스캔 복잡도와 전이엔트로피는 더 높았고 전문가 간 시선 행동은 서로 유사하였다.

헬리콥터를 대상으로 한 연구로 Robinski & Stein(2013)은 모의비행훈련장치의 착륙 임무에서 스캔 행동이 숙련도와 임무 특성에 따라 달라짐을 확인하였다. 또한 조종사가 자신의 스캔 행동을 정확히 인식하지 못하는 경우를 통해 시선추적이 훈련 피드백 도구가 될 수 있음을 시사하였다. Cheng et al.(2024)은 오토로테이션 상황에서 수평비행보다 주시시간이 짧아지고 주시 수와 동공직경 변동 폭이 커지는 것을 확인하였다. Lee & Cho(2025)는 은닉 마르코프 모델로 비행 단계별 조종사 시선의 주의 집중 상태를 분석하여 착륙 및 접근 단계에서 작업부하가 높아지는 경향을 식별하였다.

연구 참여자는 헬리콥터 전문교육기관에서 연구 안내를 받고 참여에 동의한 헬리콥터 조종사 16명이다. 참여대상은 실험 기종인 Enstrom 480으로 장주비행을 수행할 수 있고 항공신체검사증명을 보유한 조종사로 하였다. 시선추적 장비를 착용하기 어려운 조종사는 제외하였다. 자격 수준별 인원과 비행시간은 Table 1과 같다. 총 75회의 장주비행 데이터를 수집하였으며 오류가 있는 구간을 제외하고 518개의 비행 단계 구간을 분석에 사용하였다.

조종사의 시선 데이터는 Fig. 1과 같이 안경 형태의 시선추적 장비인 Tobii Pro Glasses 3를 이용하여 수집하였다. 본 장비는 4개의 눈 카메라와 16개의 적외선 광원을 통해 시선 위치, 시선 이동 경로, 동공직경 변화를 기록할 수 있다. 시선 데이터는 50Hz로 기록하였으며 매 비행 전에 지상에서 1점 보정을 실시하였다.

Fig. 1. Tobii pro glasses 3

Download Original Figure

실험은 태안비행장에서 실시하였으며, 모든 참여자는 동일한 Enstrom 480 헬리콥터로 동일한 절차에 따라 장주비행을 수행하였다. 기상 조건은 주간 시계비행이 가능한 경우로 한정하였다. 비행 데이터는 위성항법 수신기(sentry)와 foreflight의 track log 기능을 이용하여 위치, 고도, 지상 속도, 경로를 기록하였다.

수집된 데이터는 Fig. 2와 같이 비행 구간별로 분류하였다. 장주비행 단계는 이륙(takeoff), 상승로(upwind), 측풍로(crosswind), 배풍로(downwind), 강하로(base), 최종접근로(final), 접근(approach)의 7단계로 구분하였다. 최종접근로는 강하로에서 선회를 마친 뒤에 착륙 방향으로 정렬하는 구간이고 접근은 감속과 강하를 시작한 때부터 접지 직전까지의 구간이다. 각 단계의 시작과 종료 시점은 GPS 위치, 고도, 지상 속도, 경로 정보를 결합하여 정하였다.

Fig. 2. Traffic pattern

Download Original Figure

관심영역은 Enstrom 480 조종석을 기준으로 외부시야 4개, 비행계기 9개, 엔진계기 12개 등 총 25개를 Fig. 3과 같이 설정하고 외부시야, 비행계기, 엔진계기의 3개 범주로 구분하였다. 시선 데이터는 조종석 스냅샷 위에 매핑하여 관심영역별로 분류하였다. 주시는 Tobii Pro Lab의 I-VT (attention) 필터로 분류하였으며, 눈이 검출되지 않은 표본은 제외하였다. 구간별 유효 표본 비율의 중앙값은 94.8%였다.

Fig. 3. Areas of interest (cockpit)

Download Original Figure

분석에 사용한 시선지표는 범주별 체류비율, 평균 주시시간, 정지·전이엔트로피, 외부 및 계기 시선 전환 비율, 동공직경 변동계수이다. 각 지표는 장주비행 1회의 비행 단계별로 산출한 뒤에 조종사별로 단계마다 평균하여 조종사 16명이 7개 단계의 값으로 반복측정 자료를 구성하였다.

단계 효과의 검증에는 데이터의 정규성을 가정하기 어렵고 표본이 크지 않은 점을 고려하여 비모수 반복측정 검증인 Friedman 검증을 사용하였다. Friedman 검증으로 비행 단계에 따른 지표의 차이가 유의한지를 확인하고 그 차이의 크기는 Kendall's W로 제시하였다. Kendall's W는 0에서 1 사이의 값을 가지며 1에 가까울수록 단계에 따른 지표 변화가 일관되고 뚜렷함을 의미한다. 단계 효과가 유의한 지표에 대해서는 어느 단계 사이에서 차이가 나타나는지를 확인하기 위해 Wilcoxon 부호순위 검증으로 사후 검증을 실시하였으며, 여러 단계 쌍을 반복 비교하면서 발생하는 오류를 통제하기 위해 Holm 보정을 적용하였다. 자격 수준의 비교는 Kruskal-Wallis 순열 검증과 Jonckheere-Terpstra 추세 검증으로 확인하였다.

Table 2는 여덟 개 시선지표에 대한 Friedman 검증 결과를 정리한 것이다. 모든 지표가 비행 단계에 따라 유의하게 변화하였으며(p<.001), Kendall's W는 0.28에서 0.86의 범위로 나타났다.

Fig. 4는 비행 단계별 세 관심영역 범주의 체류비율을 나타낸 것이다. 외부시선 체류비율은 이륙 78.9%에서 배풍로 45.5%까지 감소한 후 접근에서 94.7%로 급증하는 U자형 변화를 보였다. 반대로 비행계기 체류비율은 이륙 8.2%에서 강하로 36.5%까지 증가한 후 접근에서 1.9%로 감소하였다. 엔진계기 체류비율은 이륙 5.5%에서 접근 0.5%까지 점진적으로 감소하였다. 사후 검증에서 접근 단계의 외부시선과 비행계기 체류비율은 다른 모든 단계와 유의한 차이를 보였다(p<.05). 이는 장주비행 중반부에서 계기를 더 주시하고 착륙이 가까워질수록 시선이 외부로 이동하는 것으로 분석되었다.

Fig. 4. Median dwell time percentage

Download Original Figure

Fig. 5는 단계별 평균 주시시간의 분포를 나타낸 것이다. 평균 주시시간은 이륙 345ms, 상승로 322ms, 측풍로 288ms, 배풍로 282ms, 강하로 289ms, 최종접근로 361ms, 접근 526ms로 나타났다. 짧고 빈번한 주시가 이어지는 장주비행 중반부와 다르게 접근 단계에서는 외부시야에 대한 주시가 길게 유지되었다. 이는 착륙 지점에 시선을 집중하는 접근 단계의 임무 특성과 일치하는 결과이다.

Fig. 5. Fixation duration

Download Original Figure

Fig. 6의 시선 전이엔트로피는 이륙 1.08bits에서 배풍로 1.77bits까지 증가한 후 접근에서 0.81bits로 감소하는 역U자형의 변화를 보였다. 정지엔트로피도 동일한 양상으로 배풍로에서 2.65bits로 가장 높았고 접근에서 1.12bits로 가장 낮았다. 배풍로의 전이엔트로피는 이륙 및 접근과의 비교에서 모두 유의하였다(p<.01). 이는 배풍로에서 고도, 속도, 경로, 트래픽 상황을 함께 확인해야 하므로 분산된 스캔이 나타났고 접근에서는 시선이 외부시야에 고정되는 것으로 확인되었다.

Fig. 6. Gaze transition entropy

Download Original Figure

Fig. 7은 단계별 외부 및 계기 시선 전환 비율을 나타낸 것이다. 이 비율은 단계에 따라 유의하게 달라졌다(p<.001). 이륙 33.1%, 상승로 30.7%, 측풍로 26.1%, 배풍로 22.8%, 강하로 28.5%, 최종접근로 33.6%, 접근 19.3%로 나타났다. 접근 단계에서 이 비율이 가장 낮았던 것은 시선이 외부 착륙 지점에 집중하면서 교차확인하는 행동이 줄어든 것으로 분석된다.

Fig. 7. Outside-instrument transition rate

Download Original Figure

Fig. 8의 동공직경 변동계수는 이륙 0.055, 상승로 0.061, 측풍로 0.079, 배풍로 0.082, 강하로 0.068, 최종접근로 0.053, 접근 0.042로 측풍로와 배풍로에서 가장 높고 접근에서 가장 낮았다. 장주비행 중반부에서 높은 동공직경 변동계수가 나타난 것은 작업부하의 변동 가능성을 시사한다. 다만 실제 비행에서는 햇빛이 동공직경에 영향을 줄 수 있으므로 이를 작업부하의 직접적인 변화로 단정하기는 어렵다.

Fig. 8. Coefficient of variation of pupil diameter

Download Original Figure

본 연구 결과로 장주비행의 시선 행동은 비행 단계에 따라 네 구간으로 분류되었다. 이륙과 상승로에서는 시선이 주로 외부에 집중되고 계기 확인은 점차 증가하였다. 측풍로부터 강하로까지는 계기 확인이 늘면서 시선이 여러 계기로 분산되었다. 최종접근로에서는 외부시야에 대한 비중이 증가하였으나, 계기와의 교차확인은 유지되었다. 접근에서는 시선이 착륙 지점에 집중되어 주시시간이 길어지고 교차확인은 줄었다. 이는 시선 행동으로 비행 단계를 분류한 Peysakhovich et al.(2022)의 결과와 같은 방향이다. 특정 기동만 다룬 기존 헬리콥터 연구와 달리 본 연구는 장주비행 7개 단계 전체에서 변화를 확인하였다.

자격 수준에 따른 차이는 계기를 얼마나 보는가가 아니라 Fig. 9와 같이 어느 계기를 확인하는 패턴에서 나타났다. 외부시선 체류비율, 평균 주시시간, 시선 전환 비율은 세 집단이 비슷하였다(Kruskal-Wallis p>.10). 학생조종사는 자세계, 속도계, 고도계를 고르게 보고 패턴이 사람마다 달라 시선 패턴이 아직 정립되지 않은 것으로 나타났다. 자가용조종사는 고도계를 먼저 확인하고 엔진계기까지 확인하는 서로 비슷한 패턴을 보였다. 사업용조종사는 속도계를 많이 확인하고 고도계와 엔진계기는 적게 확인하는 패턴을 보였다. 이는 학생조종사의 미정립된 패턴, 중간 수준 학습자가 가장 상세하게 처리한다는 중간자 효과(Schmidt and Boshuizen, 1993), 전문가가 임무와 무관한 정보를 덜 본다는 정보 축소 가설(Haider and Frensch, 1999; Gegenfurtner et al., 2011)의 순서로 이어진다. 따라서 장주비행에서 숙련은 주시의 길이나 빈도가 아니라 확인 대상이 정해지고 필요한 계기로 좁혀지는 패턴의 변화로 나타난다.

Fig. 9. Gaze transition networks (student pilot, private pilot, commercial pilot)

Download Original Figure

동공 반응이 작업부하에 비례한다는 점을 고려하면 동공직경 변동계수가 가장 컸던 측풍로, 배풍로 등 장주비행의 중반부는 작업부하의 변동이 상대적으로 큰 구간으로 해석된다. 이 구간에서는 고도, 속도, 경로, 주변 트래픽을 확인하는 시선 행동이 이루어지며, 전이엔트로피와 동공직경 변동계수가 함께 높게 나타났다.

접근 단계에서 동공직경 변동계수와 전이엔트로피가 모두 낮았던 것을 작업부하의 감소로 단정하기는 어렵다. 오히려 접근 단계에서는 평균 주시시간이 526ms로 전 단계 중에서 가장 길었다. 전이엔트로피는 0.81bits, 외부 및 계기 시선 전환 비율은 19.3%로 모두 가장 낮았다. 이러한 시선 행동은 작업부하가 낮아 시선이 안정된 것이 아니라 주의가 한 지점에 집중되어 주변 정보의 확인이 줄어드는 주의 터널링(attentional tunneling)으로 볼 수 있으며(Wickens and Alexander, 2009), 착륙 지점에 집중해야 하는 만큼 속도와 강하율의 확인이 줄어들 위험도 함께 커진다는 것을 시사한다.