항공안전감독 점검 요소 우선순위 결정에 관한 연구

우선순위 결정에 있어 설문을 통한 순위척도(Rank scale)를 사용하는 것이 오래전부터 사용되어 왔다. Converse와 Presser(1986)는 이러한 순위를 응답자들이 13개 항목을 나열한 후, 가장 중요한 항목부터 순서대로 나열하게 하고, 각 항목에 대해 순위를 부여하는 방법으로 설문을 조사하였다[4]. 그러나 McCarty와 Shrum(2000)은 순위로 응답할 항목수가 5개 이상이 될 때, 순위척도는 평정척도(Rating scale)로 응답하는 것보다 응답이 매우 어려워진다는 연구 결과를 얻었다[5]. Fowler(1995)의 경우, 평정척도는 각 항목에 대해 어느 정도 수준인지를 파악할 수 있고, 동점이라도 종합 순위를 결정할 수 있어 좋은 방법이라고 주장하였다. 그러나 허순영․장덕준․신재경(2008)의 연구에서는 이러한 평정척도 응답도 신중하게 응답하지 않거나, 특정 이해관계가 낮은 경우에 한쪽으로 치우치는 경우가 발생하며, 순위 결정에 항목 간에 구분이 어려워질 수 있다고 연구되었다[6].

Kohn(1969)은 주어진 모든 항목의 순위를 설정하는 완전순위절차(Full ranking procedure)의 한계를 보완하기 위해 필요한 몇 개의 항목을 선택하도록 하는 설문방법을 제시하였다[7]. 또한 Alwin과 Krosnick(1985)는 13개의 항목 중 가장 중요하다고 생각하는 세 개 항목과 가장 중요하지 않다고 생각하는 항목 세 개를 선택하여 항목을 축소(13개 중 6개를 제외)하고, 순위를 부여하는 방법으로 실험한 결과, 일반적 평정척도의 경우에서 비슷한 결론을 내기도 하였다[8].

그러나 항목들이 많아지면 대부분 연구에서 우선순위를 설정하는데 많은 어려움이 있는 것으로 나타났다. 최근에는 순위 결정시 한 가지 요소가 아닌 여러 요소로 판단해야 하는 경우가 많아, 단순한 순위설정으로는 한계가 있다. 아래 그림과 같이 다기준 하에 의사결정에서 우선순위의 경우 Tramarico et al.(2015) 연구에서는 이러한 순위결정에 있어 가장 선호하는 방법으로는 AHP가 사용되고 있다고 분석하였다[9].

Fig. 1. Multi-criteria decision-making method preference

Download Original Figure

우리나라 항공안전감독 체계는 미국의 항공안전감독시스템인 ATOS(Air Transportation Oversight System)를 기반으로 도입되었다. ATOS는 표준화된 승인/인허가 및 안전감독을 통해 시스템적 통합이 가능하며, 구조화된 자동화 도구(structured automation tool)가 제공된다. 현행 항공안전감독관 점검표는 ATOS와 동일하게 점검표 그룹과 점검항목의 2단계로 구성되어 있다[10]. 우리나라는 ATOS에 기초하여 시스템 기반 항공안전감독 체계로 점검항목을 설정하였다. 항공안전감독관 점검표는 많은 항목으로 구성되어 있으며, 이러한 점검표 항목들은 항공안전에 영향을 주는 여러 요소들을 포함하고 있다[11]. 점검표를 통해 항공안전을 확보하기 위한 안전 활동을 하고 있으나, 항공운송 전 분야를 모두 감독하기는 매우 어렵다. 그러므로 항공안전에 영향을 주는 항목들에 대해 그 중요도에 따라 점검의 횟수나 위험평가의 데이터를 기반으로 항공안전활동이 이루어져야 할 것이다. 본 연구에서는 많은 안전점검 항목들의 중요도를 측정하기 위해 1차적으로 우선순위를 설문을 통해 실시하였고, 그 적정성 분석을 위한 2차로 AHP 분석을 수행하였다. 1차 설문조사(2017년 4월 20일∼5월 17일)는 항공안전감독 항목 우선순위를 척도화하여 설문을 실시하였다. 총 18명의 전문가(운항 10명, 정비 8명)를 대상(안전감독 대상인 운항과 정비분야로 나누어 설문)으로 설문을 수행하였다. 안점감독 점검항목의 중요도는 리커드척도를 이용하여 조사하였고, 그 결과는 아래와 같다.

항목수가 많아 우선순위는 각 항목에 대해 중요도를 척도화(9점 척도)하여 질문하였고, 척도에 대한 평균값으로 순위를 설정하였다. 그러나 표본의 수가 적고, 질문 항목이 많을 경우, 통계적인 유의성을 갖출 수 있는 수준이 아니며, 단순 중요도 조사에 불과할 수 있어 적용에 한계가 있다. 평점척도에서는 중요도 조사와 같은 직접적 질문으로는 항목들 간에 비교를 통한 순위조사는 한계가 있다.

효율적인 항공안전감독을 위해서는 점검항목 각각에 대한 중요도를 평가할 필요가 있으며, 각 중요도는 수리적으로 가중치를 도출하여 적용할 수 있을 것이다. 가중치를 산출하는 방법은 여러 가지가 있으나, 항목들을 평가하는 기준이 다수일 경우, 계층적분석방법론인 AHP (Analytic Hierarchy Process)를 적용하여 도출하는 것이 일반적이다. 다만, AHP 적용에 있어 한계는 너무 많은 항목으로 이를 모두 계층화하여 쌍대 비교하는 것은 의미가 없는 분석이며, 실제 연구에서도 이러한 방법을 적용하고 있지는 않다. 그러므로 본 연구에서는 1차 설문조사때 사용한 점검항목 중 중분류 항목 수준에서 가중치를 도출하였고, 이를 1차 설문분석의 우선순위와 비교 분석하였다.

항공안전감독관 점검표를 다음 그림과 같이 분류하고, 계층화 하였다. 점검표는 ICAO에서 제시하고 있는 점검목록과 점검표를 적용하고 있으며, 이러한 점검표는 미국의 항공안전감독시스템인 ATOS에 기반하고 있다. 본 연구의 계층화된 구조는 ‘시스템기반의 항공안전감독체계 개발 연구’에서 사용한 구조이고, 해당 연구에서는 항공안전감독관 점검표 구조를 설계하였다. 이는 항공안전감독관의 점검활동에 안전정보 분석 및 안전위험평가가 적용될 수 있도록 HFACS (Human Factors Analysis and Classification System)의 구조화된 계층구조를 적용한 것이다(최동욱, 2016).

Fig. 2. AHP hierarchy based on alternative

Download Original Figure

본 연구는 항공안전감독요소 7개 분야(조직, 운항, 운항통제, 탑승운영, 항공기기술운영, 지상 및 위험물, 기타 인프라 점검), 102항목을 구조화하여 계층화 하였다. 가중치 분석을 위한 계층화로 7개 분야를 3개(조직, 항공종사자, 공항 및 인프라)로 구분하고, 항목을 분류하였다.

본 연구에서는 항공사에서 항공안전감독을 수검 받는 부서들의 전문가들을 대상으로 하여 현장에서 자기기입식 설문방식으로 수행하였으며, 실제 항공안전감독의 항목들을 이해할 수 있는 전문가들로 선정하였다. 총 25부의 설문지가 메일로 발송하고, AHP 설문에 이해를 위해 사전 유선 설명을 실시하고, 설문을 수행하였다. 설문 회수 후 논리적 일관성 검증을 통해 비일관성이 0.1 이상이 5부를 제외한 20부를 최종분석에 사용하였다.

AHP 분석을 위한 행렬식은 각각의 중요도에 의해 구성되며, 상위 1계층의 평가요소인 조직, 항공종사자, 공항인프라와 2계층에 대한 평가요소는 결과는 다음과 같다.

항공안전감독분야 중 중요한 부분은 조직(0.495), 항공종사자(0.319), 공항인프라(0.185) 순으로 나타났다.

조직분야 내에서는 감항성관리(0.384)가 가장 높았으며, 항공종사자에서는 조종사(0.490), 정비사(0.294), 운항관리사(0.147), 승무원(0.069) 순이었다. 공항인프라에서는 지상운영 및 위험물관리, 기타 인프라 점검 순이었다. 전체(Global)를 대상으로 하였을 때(2계층), 조직의 감항성관리(0.19), 항공종사자의 운항분야/조종사(0.156), 조직의 운영관리(0.127) 순으로 나타났다.

항공안전감독관의 세부 점검항목의 중요도를 위해서는 각 분야의 세부항목에 대한 각각의 중요도를 나타내야 하며, 3계층에서의 중요도 산출 결과는 다음과 같다.

AHP 결과와 1차 순위 설문 결과는 상당한 차이를 나타낸다. 그러나 AHP 역시 응답자의 특성에 따라 다른 결과값이 도출될 수 있다. 이는 전문가들의 주관적 응답에 의해 결정되는 것으로 편의(Biases)와 오류(Error)가 포함될 수 있다. 이러한 문제점에 대해 여러 연구에서 AHP의 한계도 지적하였으나, 실제 적용에서 의사결정에 큰 영향이 없는 결과를 나타내기도 하였다[12].

항공교통관제사와 조종사를 대상으로 활주로 침범 요소들에 대한 가중치 결정시 두 전문가 집단을 대상으로 적용한 결과, 서로 상반된 집단이지만, 유사한 결과를 나타내었다.(김웅이, 김도현, 최연철 2010).

본 연구에서는 정비분야와 운항분야에서의 항공안전점검 항목의 중요도를 도출하는 것으로 각 분야에서 인식하는 중요도는 완전하게 구분될 수 있다. 그러므로 이러한 대비되는 분야에서의 전체 항목의 가중치 도출은 매우 큰 편이(bias)를 나타낼 수 있어, AHP 적용에 제한적일 것이다. 그럼에도 불구하고 순위설문보다는 쌍대비교에 의한 AHP의 순위가 합리적이라는 것은 많은 연구의 결과이다.

분석의 결과에서 나타났듯이 운항과 정비의 가중치 순위는 다르게 나타났다. 운항의 1위는 ‘안전관리’, 정비의 1위는 ‘감항성관리’이다. 마지막 가장 끝 순위는 운항이 ‘기획 및 감시관리’이고, 정비는 ‘정비시설 관리’로 나타났다. 이러한 결과만 보면, 두 응답집단간의 차이가 크게 나타나는 것처럼 보인다. 그러나 이러한 항목들에 대한 순위는 상대적인 것이며, 중요도의 값으로 하였을 때 차이는 분야별 응답자 특성의 차이로 볼 수 있다.

각 분야별 응답의 정도 차이를 분석하기 위해 가중치 값을 비교하였다. 가중치를 명확히 분별하기 위해 100을 곱하였고(% 전환), 전체 평균에서의 차이와 각 분야에서 차이를 비교하였다.

가중치의 차이는 전체를 대상으로 AHP 가중 결과와 운항분야 전문가의 가중치 결과, 정비분야 전문가의 가중치 결과를 비교하였고, 각각 상호간의 비교를 하여 차이를 분석하였다. 차이의 결과는 아래와 같다.

가중치 차이는 전체와 분야별로 하였을 때 0.1%-10%까지 차이가 있었으며, 각 분야별 전문가도 적게는 0.1%에서 많게는 20%의 차이를 보여주고 있다. 순위가 높은 요소에서 분야별 차이를 크게 보이고, 가중값이 낮은 곳에서는 적은 차이를 보인다. 이는 분야별 가장 중요하게 생각하는 부문의 관점이 다르기 때문에 가중치 값이 높은 부분에서 큰 차이를 보이는 것이다. 그러나 이를 제외하고 비교한다면 차이는 대부분 1%-2% 수준으로 차이가 별로 크게 나타나지 않는 것을 볼 수 있다.

본 연구에서는 설문의 수가 적어 순위와 가중치 차이에 대해 통계적으로 유의성을 검토하기에는 한계가 있다. 다만, 이러한 결과는 AHP 자체도 평균을 사용하고 있어, 전문가들이 의견이 모아질 수 있어 결과에는 큰 영향을 주지는 않을 것이다. 또한, 이러한 차이는 항공안전감독 점검표 순위보다는 중요도 값을 도출하여 적용하는 데는 충분히 타당성이 있는 값으로 사용할 수 있다.