LOSA Data 품질(Quality)에 영향을 미치는 요소

Klinect(2003)는 항공사가 사고 및 준사고를 미연에 방지하기 위해 LOSA를 통해 TEM(Threat and Error Management) 관점에서 안전을 진단하고 위협요인을 관리해야 한다고 하였다.

극동대학교산학협력단(2017)은 TEM이 차량운전자의 방어 운전과 유사한 개념으로 운항승무원이 방어적 운항을 함으로써 복잡한 운항환경에서의 Safety Margin을 최대화하고 사전 예측적으로 운항안전을 관리하는 기법이라고 하였다.

ICAO(2005)는 TEM이 Threat(위협), Error(실수), UAS(비정상적 항공기 상태) 등 3가지 요소로 구성된 프레임워크를 가지기 때문에 운영 환경과 운영 인력에 대해 동시 초점을 맞춘다고 하였다.

LOSA는 Line Operations Safety Audit(노선운항안전 감사)의 약자이며 기존의 적발 위주 Line audit 제도와 달리 조종사의 자발적 참여와 철저한 비밀유지, 처벌 금지 약속 등을 통하여 참여자가 평소대로 비행하는 과정에서 훈련된 Observer(관찰자)가 “벽에 붙은 파리(A fly on the wall)”와 같은 모습으로 운항 중 Threat과 Error를 식별하고 분석하여 보고서를 통해 개선하는 안전프로그램이다(FAA, 2006).

최진국(2009)은 LOSA에 대해서 훈련받은 관찰자가 평가 비행이 아닌 일상적 비행에서 운항승무원의 자발적 참여를 통해 조종실에서 목격할 수 있는 Threat과 Error를 관찰하고 항공사의 강점과 약점을 파악하여 항공사 안전을 개선시키는 것을 목적으로 하며, LOSA 결과는 운항승무원의 평가, 감독, 처벌에 이용하거나 항공사를 감사하는 것이 아니고 항공사가 자체적으로 사고 예방 차원에서 활용하는 것이라고 하였다.

즉, LOSA는 항공사의 Flight operation에 대해 실시하는 건강검진과 같은 프로그램으로써 항공기 운항시 발생할 수 있는 안전 위협요소를 Observer의 관찰을 통해 파악하고 분석하여 선제적 제도개선 등의 대응을 할 수 있도록 하는 안전관리프로그램으로 정의할 수 있다(FAA, 2006).

IATA는 IOSA Standard Manual을 통해 항공사가 일상적인 항공기 운항시 운항승무원의 Natural performance(자연스러운 성능)를 관찰한 데이터에 기반하여 체계적으로 분석할 수 있는 프로그램을 보유하고 있어야 함을 강조하였고, 이러한 프로그램으로 LOSA가 매우 효과적이라고 하였다(IATA, 2023).

또한 Klinect(2003)는 항공사가 사고 및 준사고를 미연에 방지하기 위해 TEM 관점에서 LOSA에 의한 진단결과를 받아들이고 필요한 변화를 시도하며 관리해야 한다고 하였다.

LOSA는 1991년부터 FAA의 지원을 받아 Human factors(인적요인)에 관한 연구를 수행하던 University of Texas Human Factors Research Project (UTHFRP)가 1994년 Delta 항공사로부터 자사의 CRM 교육이 Line operation에 어떠한 영향을 미치는지를 확인하기 위해 요청한 observation을 수락함으로써 태동하게 되었다(Klinect, 2003).

이후 미국 주요 항공사들이 UTHFRP에 LOSA를 통한 CRM 훈련 효과 측정을 요청하였다. 1996년에는 Continental 항공사가 TEM 프레임워크를 사용한 1차 LOSA를 실시하였고, 2000년에는 2차 LOSA를 실시하여 Unstable approach(불안정 접근)가 70% 감소 하는 등 운항 안전에 커다란 개선이 이루어졌음을 확인하였다(최진국, 2011).

2001년에는 Cathay Pacific 항공사 주관으로 LOSA Workshop이 개최되었고, 2002년 ICAO는 회원국들에게 LOSA 프로그램의 유용성을 권고사항(Recommended Practice)으로 추천하며 세부 이행 방법들을 DOC 9803(Line Operations Safety Audit)에 제시하였다(ICAO, 2002).

2006년에는 FAA가 AC 120-90(Line Operations Safety Audits)을 발행하였고(FAA, 2006), 2010년 이후부터는 LOSA data를 EBT(Evidence-based Training)의 중요자료로 사용하고 있다(IATA, 2013).

2023년 현재 약 90여개 이상의 항공사 및 정부기관, 군(Military), Helicopter 사업자들이 예방안전관리프로그램으로 LOSA를 수행하였거나 수행 중에 있다(LOSA Collaborative, 2023).

우리나라에서는 A 항공사가 2004년과 2011년 총 2회의 LOSA를 실시하여 다수의 제도를 개선하였고(최진국, 2012), J 항공사는 2018년도 LOSA 실행을 통해 안전운항쳬계를 강화하였다(노병우, 2018). 또한 K 항공사는 2009년부터 LOSA 프로그램을 항공사 정책 및 현황에 적합하도록 벤치마킹하여 ‘LSA(Line Safety Audit)’라는 명칭으로 운영하고 있다(K항공사, 2023).

FAA(2006)는 Advisory Circular 120-90을 통해 LOSA의 10가지 중요 특징을 아래와 같이 제시하였다.

Threat, Error, UAS 등은 운항안전을 위해 TEM을 통해 지속적으로 관리되어야 할 요소들이고, LOSA는 이러한 관리 요소들이 어디에 있고, 어떤 상태인지를 확인해 주는 수단이라고 할 수 있다(K 항공사, 2023).

Observer가 조종실에서의 관찰을 통하여 운항의 복잡성을 가중시키는 Threat과 조종사 Error를 식별하여 조치하는 TEM에 LOSA는 훌륭한 탐색 기능을 담당한다. 성공적 LOSA를 수행하기 위해서는 관찰자뿐만 아니라 운항승무원 또한 조종석 외부의 Threat과 본인들의 Error를 탐지하고 관리하는 기법인 TEM에 대해 명확하게 이해하고 운영할 수 있어야 한다(극동대학교산학협력단, 2017).

Klinect(2003)는 항공기 운항 관련 효과적 예방 안전관리를 수행하기 위해서 LOSA data의 품질(Quality)이 매우 중요하다고 하였고, 이를 위해 LOSA data는 가능한 운항승무원들이 조종실에 다른 사람이 없는 상태에서 비행할 때와 같은 여건에서 수집될 수 있어야 한다고 하였다.

한편, Kahneman(1982)은 사람이 어떤 사안이나 상황에 대하여 심층적 분석 없이 고정관념 또는 추상적 개념에 기초하여 추론적이고 때로는 비합리적인 판단을 내리는 것을 휴리스틱 판단(Heuristic judgment)이라고 하였다. 즉, 휴리스틱 판단은 특정 사안/상황을 제한된 정보에 기초하여 즉흥적이고 직관적으로 빠르게 의사 결정하는 전략이라고 할 수 있다. 이러한 휴리스틱 판단은 LOSA data 수집에도 영향을 미칠 수 있을 것이다. 예를 들면 운항승무원이 LOSA에 대한 정확한 정보나 이해가 부족한 상태라면 ‘노선운항안전감사’라는 명칭으로부터 유추되는 제한된 정보만으로 LOSA를 주관적으로 판단하고 또 다른 형태의 평가 비행으로 인식할 가능성이 존재할 수 있다.

Gordon(1990)은 사람이 어떤 작업이나 행동을 할 때 자신이 관찰되고 있다는 사실을 알게 되면 자신의 행동을 바꾸는 현상을 호손효과(Hawthorne effect)라고 하였고, 최근에는 대상자가 새로운 관심을 기울임으로써 행동의 능률에 변화가 일어나는 현상으로까지 그 의미가 확대되었다고 하였다. 호손효과(Hawthorne effect) 또한 LOSA 프로그램에 참여하는 운항승무원에게 작용할 수 있을 것으로 예상된다. 과거에 팀장/그룹장 등 항공사의 관리자나 검열관/평가관이 LOSA 관찰자(Observer)로 탑승한다면, 관찰을 받는 운항승무원에게 호손효과의 영향이 발생할 수 있을 것이다.

Ellis(1993)는 인간이 어떤 일을 수행할 때 전반부에 제공된 자극이 후반부의 응답에 영향을 줄 수 있다는 점화효과이론(Priming effect theory)을 소개하였다. 심리학에서 '점화(Prime)'라는 용어는 사람이 어떤 자극에 노출되면 이전 기억 속에 저장되어 있는 특정 정보에 대한 접근성이 증가하고 이전 정보에 기초한 특정 개념이 노출된 자극의 정보 해석에 영향을 미치는 현상을 말한다. 일반적으로 운항승무원들은 항공사 안전관리담당부서에 대해서는 감독․확인․처벌과 같은 규범적 인식을 가지고 있으며, 조종사노동조합 또는 항공사․조종사노조 협의체와 같은 제3의 조직에 대해서는 우호적 인식을 가지는 것으로 알려져 있다. 따라서 어느 조직이 LOSA를 주관하여 운영하는지가 운항승무원들의 점화(Prime)효과에 영향을 미치는 요인으로 작용할 수 있을 것이다.

효과적 TEM의 수행을 위해서 LOSA를 활용한 Threat과 Error를 파악하는 것은 매우 중요하다. 이를 위해 관찰을 통해 수집한 LOSA data는 운항승무원이 평소 비행시와 동일/유사한 집중도를 가질수록 그 품질(Quality)이 높다고 평가할 수 있다.

하지만 항공사가 실제 현장에서 획득하는 LOSA data는 운항승무원의 휴리스틱 판단(Heuristic judgment) 경향성, 호손효과(Hawthorne effect), 그리고 점화효과(Priming effect) 등의 영향에 따라 그 품질(Quality)이 달라질 수 있을 것으로 예상된다.

본 연구는 운항승무원들의 LOSA에 대한 개념과 목적에 대한 이해 수준, LOSA observer의 과거 경력, LOSA 운영 주관 부서의 특성 등이 위 3가지의 이론적 효과에 영향을 미쳐 평소 비행 시보다 높은 집중도를 발생시키고, 이에 따른 LOSA data 품질(Quality)도 영향을 받을 것으로 예측하였다(Fig. 1).

Fig. 1. Research model

Download Original Figure

연구모형에 기초한 연구가설은 다음과 같다.

모집단은 K 항공사에 재직 중인 운항승무원으로 설정하였고, 2023년 4월 10일부터 4월 18일까지 온라인(Google form) 설문을 진행하였다. 총 125개의 설문 응답을 접수하였으며, 1차 내용분석을 수행한 결과 불성실 답변 3개를 제외하고 122개의 설문 응답에 대해 분석을 수행하였다.

본 연구는 LOSA를 수행할 경우 운항승무원이 평소 비행과 달리 집중도를 높이는 요소들을 확인하기 위해 자기 기입식 설문 방법을 활용하였다.

설문지 서두에 LOSA 운영 개념 및 목적, 비처벌 및 비밀보장 원칙 등을 설명하였고, 설문 문항은 이종성(2014)이 조종사의 운항안전 참여 수준 연구 시 사용한 측정도구를 기반으로 K 항공사 여건을 고려하여 일부 표현을 수정하였다. 예시 문항으로는 “귀하께서는 LOSA의 개념 및 목적을 잘 이해한 상태에서 LOSA 비행에 참여할 때 평소와 비슷한 수준으로 집중하여 비행할 것으로 생각하십니까?” 등이 있다. 각각의 설문 문항은 전혀 그렇지 않다(1점), 그렇지 않다(2점), 보통이다(3점), 그렇다(4점), 매우 그렇다(5점) 등 LIKERT 5점 척도로 측정하였다.

설문 응답은 빈도 분석을 통해 표본의 인구통계학적 특성을 파악하였고, ‘R Studio’ 를 이용한 단축 t -검정을 통해 연구가설 검증을 실시하였으며, 각각의 가설은 “보통이다(3)”를 기준으로 귀무가설(H₀: μ=3) 및 대립가설(H₁: μ>3)로 구분하여 검증하였다.

ICAO(2002)는 항공업계에서 예방적 안전관리 전략 관점에서 LOSA(Line Operations Safety Audit)가 매우 유용한 프로그램이라고 언급하며 LOSA가 TEM (Threat and Error Management) 수행을 위한 중요한 수단이라고 하였다.

안전한 항공기 운항을 위하여 운항승무원들은 TEM을 통해 Threat과 Error를 지속적으로 관리해야 하는데 LOSA는 잠재적인 Threat과 Error를 식별하고 조치하는 훌륭한 탐색 기능을 가지고 있다는 것이 다수 항공사의 경험을 통해 입증된 바 있다.

특히 Klinect(2003)는 LOSA의 효과성을 확보하기 위해서 LOSA Data의 품질(Quality)이 매우 중요하다고 하였고, 이를 위해 가능한 운항승무원들이 평소 조종실에 다른 사람이 없는 상태에서 비행할 때와 같은 상황에서 Data가 수집될 수 있어야 한다고 하였다. 하지만, 운항승무원들이 LOSA 프로그램을 접하게 될 때 평소와 다르게 비행에 대한 집중도를 높이게 된다면, 잠재적인 Threat과 Error를 정확하게 식별하는 것을 저해할 수 있기 때문에 수집된 Data는 그 의미가 왜곡(Skewed)되고 품질은 떨어지게 된다.

선행연구에 따르면 사람이 평소와 다른 집중도를 보이거나 성능(Performance)을 발휘하게 하는 주요 원인들로 어떤 사안이나 상황에 대하여 심층적 분석 없이 고정관념 또는 추상적 개념에 기초하여 결정하는 휴리스틱 판단(Heuristic judgment), 자신이 관찰되고 있다는 사실을 알게 되면 자신의 행동을 바꾸는 현상인 호손효과(Hawthorne effect), 그리고 인간이 어떤 일을 수행할 때 전반부에 제공된 자극이 후반부의 응답에 영향을 주는 점화효과(Priming Effect) 등이 있다.

본 연구는 선행연구 결과들이 언급한 주요 원인들이 LOSA 수행 시 운항승무원에게도 작용되는지 설문을 통해 검증하였고, 그 결과를 기반으로 확인한 시사점은 다음과 같다.

첫째, 운항승무원이 LOSA 운영 개념 및 목적에 대해 잘 이해하고 비처벌 원칙 및 비밀보장을 신뢰할 경우, 운항승무원은 LOSA 수행시 평소 비행할 때와 동일/유사한 수준으로 집중하여 비행한다는 것이다. 이 결과는 FAA(2006)가 언급했던 LOSA의 10가지 중요 특징 중 신뢰의 문제를 강조한 Voluntary crew participation, LOSA의 성공을 보장하기 위해 분석결과, 변화전략, 관리계획 등을 승무원들에게 공유해야 한다는 Feedback results to the line pilots, 그리고 수집된 자료의 기밀 유지에 관한 Trusted data repository와도 맥락을 같이한다.

둘째, LOSA observer로 경력 많은 기장이나, 과거 항공사 관리자 또는 평가관 등의 경력을 가진 사람이 탑승할 경우, 운항승무원은 평소 비행 시보다 높은 수준으로 집중하여 비행할 가능성이 높다는 것이다. 이러한 결과는 Gordon(1990)이 강조한 호손효과(Hawthorne effect) 영향이 존재하기 때문인 것으로 판단되고, 더욱이 Observer가 운항승무원이 느끼기에 관리 감독 직위에 있었던 사람이라면 그 효과는 더욱 커질 것으로 예상된다. 따라서 FAA(2006)도 LOSA의 10가지 중요 특징을 통해 LOSA가 라인체크비행, 교육훈련비행 등에는 적절하지 않고 일상적인 정기 항공편에서만 수행(Jump-seat observations during normal flight operations)되어야 한다고 하였으며, 존경받고 신뢰받는 Observer의 선택(Trained and calibrated observers)이 중요하다고 하였다.

셋째, 운항승무원은 LOSA 운영 주관부서가 항공사의 안전관리담당 부서일 경우, 운항승무원은 평소 비행 시보다 높은 수준으로 집중하여 비행할 가능성이 높고, 조종사노동조합일 경우 평소 비행할 때와 동일/유사한 수준으로 집중하여 비행하는 것으로 나타났다. 이러한 결과는 Ellis(1993)가 주장한 점화효과(Priming effect)의 영향 때문으로 추정되는데, 운항승무원들은 항공사 안전관리담당부서에 대해서는 감독․확인․처벌과 같은 규범적 인식이 높고, 조종사노동조합에 대해서는 우호적 인식이 높기 때문일 것으로 판단된다. 이와 관련하여 FAA(2006)는 LOSA가 성공할 수 있도록 회사와 조종사협회의 협력(Joint management/ pilots' association Sponsorship)이 중요하다고 강조하였다.

종합해 보았을 때, 본 연구는 LOSA 프로그램이 예방적 안전관리에 효과적으로 활용되기 위해서 LOSA data 품질(Quality)의 중요성을 인식해야 하고, Data의 품질을 보장하기 위해서 LOSA 수행 시 운항승무원이 가능한 일상적 비행과 동일/유사한 집중도를 유지할 수 있도록 해야 하는데, 여기에는 운항승무원의 LOSA 개념/목적에 대한 이해 수준, Observer의 과거 경력, LOSA 운영 주관 부서 특성 등이 영향을 미칠 수 있다는 것을 확인하였다는 의의를 가진다고 사료된다.

본 연구는 고품질 LOSA Data 획득에 영향을 미치는 요소들을 식별하였으나 다음과 같은 한계가 있다고 생각한다.

첫째, 본 연구는 국내 K 항공사 운항승무원을 모집단으로 하여 표본 설문조사를 실시하였으나, COVID-19 등 환경적 요인으로 직접 대면 방식이 아닌 온라인을 이용하여 설문조사를 진행함에 따라 표본 수가 다소 적었던 측면이 있다.

둘째, 본 연구는 1개 항공사만을 대상으로 진행하였기 때문에 동일한 안전정책 및 문화를 공유하고 있다. 따라서 항공사별 안전정책 및 문화의 차이가 LOSA data에 어떠한 영향을 미치는지는 파악하지 못하였다.

셋째, 본 연구는 연구자가 LOSA 비행에 참여한 것이 아닌 설문조사 결과를 바탕으로 분석함에 따라 실제 LOSA 비행 중 발생하는 상황에 대하여 실증적 확인이 이루어지지 않았으며, LOSA 수행에 있어서 발생하는 각종 애로 및 문제점 등에 대해서 관련 전문가의 대한 인터뷰나 자문을 실시하지 못하였다.

향후 이러한 부분에 대해 보완이 된다면 LOSA 운영의 효과성 향상에 큰 도움이 될 것으로 판단한다.