Ⅰ. 서 론
국제민간항공기구(ICAO; International Civil Aviation Organization)의 권고아래 2006년부터 시행되고 있는 항공구술영어능력평가(EPTA; English Proficiency Test for Aviation)는 문제구성이 항공상황을 적절히 반영하지 못하였다는 비판 등을 받아들여 2019년 전면 개정되었다. 하지만 EPTA가 개정된 후 이준세와 최진국(2019)의 EPTA 만족도에 관한 연구가 있었을 뿐, 해당 시험의 세부적인 타당도 분석이 이루어지지 않아 본 연구를 시작하게 되었다. Brown (2004)에 의하면 의사소통 시험(CLT; Communicative Language Testing)은 수험자의 안면타당도 측정이 필수이며, 안면타당도가 높은 평가일수록 실제 생활을 제대로 반영한 실용적인 평가라고 하였다. 그러므로 개정된 EPTA가 항공상황을 적절히 반영하며, 실질적인 항공안전에 기여하는지 알아보기 위해서는 수험자의 입장에서 안면타당도 분석을 실시할 필요가 있다. 또한 연구 대상에 있어서 기존의 EPTA 연구들이 지나치게 항공사 조종사들을 대상으로만 연구된 반면에 입사를 준비하는 학생 조종사를 고려하지 않았으며, 기장 및 부기장 등 경력에 따라 시험에 관한 세부 타당도 분석을 실시하지 않은 한계점이 있었다.
따라서 이러한 한계점을 보완하기 위해 본 연구에서는 다음과 같은 연구 문제를 설정하였다. 첫째, 개정된 EPTA에 대한 전체 조종사 수험자의 안면타당도를 분석하여 시험이 실제 항공상황을 적절히 반영하였는지 여부와 시험이 실질적으로 항공안전 증진 및 사고예방에 부합하는지를 알아보고자 하였다. 둘째, 연구대상을 조종사의 비행경력에 따라 세분화(기장, 부기장, 일반 사업용 조종사)하여 비행경력이 시험의 안면타당도에 영향을 미치는지를 살펴보고자 하였다. 이를 통해 비행경력별로 시험에 대한 세부적인 피드백을 도출하여 EPTA의 종합적인 발전방안까지 함께 논의하도록 연구를 설계하였다.
이렇게 설정된 연구문제의 해결을 위하여 조종사 수험자 103명을 대상으로 설문조사를 실시하였으며, 이후 설문결과를 바탕으로 심층 인터뷰 대상자 9명을 선정하여 인터뷰를 실시하였다. 설문 응시자의 비행경력은 기장 31명, 부기장 42명, 일반 사업용 조종사 30명이었으며, 인터뷰 응시자는 기장 3명, 부기장 3명, 일반 사업용 조종사는 3명으로 구성되었다.
해당 연구를 통한 본 연구의 목적으로는 안면타당도 분석을 통해서 EPTA 개정 전·후를 비교할 수 있는 학술적인 근거를 제시하는 것이다. 또한 시험의 타당도를 높일 수 있는 발전방안을 제시함으로써 시험처, 항공사, 교육기관, 항공종사자의 항공영어의 중요성 및 능력 향상에 일조하는 것이다. 궁극적으로는 의사소통과 관련된 항공사고 예방과 실질적인 항공안전증진에 기여하고자 한다.
Ⅱ. 이론적 배경
시험과 평가는 각각의 목적에 부합해야 할 뿐만 아니라, 신빙성이 있는 결과를 도출해야 한다. 안면타당도는 그런 평가 도구가 측정하고자 하는 것을 얼마나 충실하게 측정했는지 판단하는 개념이다(이완기, 2003). 또한 안면타당도는 수험자의 입장에서 시험으로 인해 유발되는 감정(심리 상태)과 평가의 공정성, 적절성, 유용함 등을 분석하며, 시험이 본래의 목적을 얼마나 충실히 반영했는지 알 수 있는 척도로 적용된다(Hughes, 2003). Alderson, C. et al.(1995)은 안면타당도가 낮을 경우 수험자가 평가의 목적에 대해 심각하게 받아들이지 않을 것이며, 반대로 안면타당도가 높을 경우 수험자들은 평가에서 자신의 언어능력을 가장 확실히 발휘할 수 있을 것이라고 언급하였다. 즉, 안면타당도가 높은 시험일수록 평가의 목적을 충실히 반영했으며, 수험자의 학습동기를 증진시키는 것이라고 간주할 수 있다. 또한 신동일(2002)은 EPTA와 같은 고 위험 시험(High Stakes Standardized Testing)은 시험의 결과가 수험자의 생업에 영향을 주기 때문에 수험자 중심의 안면타당도 연구가 꼭 필요하다고 강조하였다. Brown(2004)에 의하면 EPTA와 같이 실제 업무와 관련된 영어구술평가의 경우 영어능력 뿐만 아니라, 실생활을 정확히 반영하는 것이 중요하며, 이것을 측정하기 위해서는 안면타당도분석을 실시해야 한다고 주장하였다.
항공영어구술능력시험(EPTA) 안내서(2018)에 따르면 개정된 EPTA의 목적은 다음과 같다.
“국제항공업무에 종사하는 조종사, 관제사, 무선통신사 간 원활하고 성공적인 언어소통을 통해 항공안전을 확보하는 항공영어 구술능력증명제도 취지에 부합”(국토교통부 항공영어구술능력시험 안내서, 2018, p. 3).
개정 전후 EPTA의 주요 변경사항 및 특징들은 Table 1과 같이 정리할 수 있다(국토교통부 항공영어구술능력시험 안내서, 2018, pp. 2-9).
5등급 이하의 개정된 EPTA는 듣기·말하기 통합방식이며 컴퓨터 기반(CBT; Computer Based Test)의 방식을 도입하는 등 시험 절차를 자동화하였다. 또한 이 시험은 면접관의 개입 없이 100% 프롬프트(상황안내문/지시문) 내장형 CBT 방식으로 응시자는 컴퓨터에 내장된 문제 프롬프트에 따라 즉흥적으로 응답하고 그 수행능력을 평가 받는다.
시험의 구성은 총 2개 Part, 5개 문항으로 구성되어 있다. Part 1은 단순 표준무선통신영어를 사용해야 하는 교신 상황에 관한 롤 플레이 형태이다. Part 2는 여러 교신 상황이 순차적으로 진행되는 가운데 비상상황이 주어지는 롤 플레이 유형으로 비상상황과 관련된 표준무선통신영어와 일반영어를 동시에 평가하고 있다. 시험은 총 29∼33문항으로 구성되어 있고, 평균 35∼50분이 소요된다.
Ⅲ. 연구방법
본 연구에는 EPTA가 개정된 이후 시험을 치룬 적이 경험이 있는 현직 조종사 103명을 연구대상으로 삼았다. 세부 경력, 비행시간, EPTA 등급과 같은 연구참여자의 특성을 정리하면 Table 2와 같다.
인터뷰 응시자는 설문에 응한 조종사를 대상으로 비행경력에 따라 각 3명씩 총 9명(기장 3명, 부기장 3명, 일반 사업용 조종사 3명)이 선정되었다. 인터뷰에 참여한 응시자의 세부 정보는 Table 3에 정리되어 있다.
구체적이고 더 심도 깊은 연구결과 도출을 위하여 양적·질적 방법을 함께 사용한 혼합적 연구방법을 연구에 적용하였다. 양적 연구를 위하여 설문지를 작성하였으며, 질적 연구를 위해서는 심층 인터뷰를 실시하였다.
설문 문항을 구성하기 위하여 우선 ICAO DOC 9835(2004)에서 권고하는 항공영어시험의 범주별 특성을 참고하여 설문 문항을 시험 ‘목적’,‘내용/구성’,‘난이도/평가’,‘제도/환경’으로 범주화하였다. 범주별 세부 문항을 작성하기 위해서는 안면타당도 설문조사 방법인 Nevo(1985)을 따라 시험과 관련된 항목들의 적합도를 묻도록 작성하였다. 또한 예비연구 결과를 통해 나타난 조종사 수험자들이 생각하는 시험의 개정 전·후의 주요 변경사항(시험 내용의 항공상황 반영, 비상상황 롤플레이, CBT 방식, 교통안전공단 평가 등)들을 토대로 Alderson(2010)이 국제 항공영어시험들의 타당도 분석에 사용한 설문 문항 및 설현수(2009)가 국내 EPTA 타당도 분석 시 사용한 문항들을 종합하여 4개의 범주로 구성된 총 28문항을 최종적으로 확정하였다(Table 4). 이렇게 선정된 설문 문항은 리커트(Likert) 4점 척도(‘매우 그렇다’, ‘그렇다’, ‘아니다’, ‘매우 아니다’)를 사용하여 모호한 답인 ‘보통이다’를 피하도록 하였다. 또한 설문 문항의 신뢰도 분석을 위해 범주별 Cronbach’s alpha 계수를 측정하였다. 이 계수가 0.70 이상이라면 범주별 문항 간 내적 일치도가 높으며, 신뢰할 수 있다는 걸 의미한다(Table 4).
심층 인터뷰 질문들은 설문을 분석한 후에 구체적인 답변이 필요한 문항들로 다시 구성하였다. 심층 인터뷰는 대면 및 유선으로 진행되었으며, 수험자의 동의를 얻은 후에 녹음을 실시하였다. 세부 인터뷰 질문은 Table 5와 같으며, 시험의 개정 전·후를 비교할 수 있는 주요 특징들로 구성되었다.
| 범주 | 주요 내용 |
|---|---|
| 목적 | 항공안전과 EPTA의 연관성 |
| EPTA와 항공영어능력 향상 및 학습동기에 미치는 영향 | |
| 내용/구성 | 문항별 실제 항공업무의 유사성 |
| 표준무선통신영어, 일반영어 문항 비율 | |
| 난이도/평가 | 실제 항공업무와 시험의 난이도 비교 |
| 개인 평가결과 만족도 | |
| 제도/환경 | CBT평가와 1:1 인터뷰 방식 선호도 |
| 접수방식 등 시험 준비 애로사항 |
본 연구에 앞서 설문지 문항 작성 및 신뢰도를 높이기 위하여 본 연구에 참여하지 않는 조종사 수험자 40명을 대상으로 예비연구를 실시하였다. 그 결과, EPTA의 개정 전·후 주요 변경사항과 관련하여 사전에 조종사들의 의견을 반영하여 여러 번의 수정 작업을 거쳐 최종 설문 문항 및 인터뷰 문항을 완성하였다. 이후 본 설문조사를 위해서 먼저 항공 시험처(서울 상암 소재)에 동의를 구한 후 항공 조종사를 대상으로 설문을 실시하였으며(비대면 설문), G사의 설문 프로그램을 통해서도 수시로 설문조사를 수행하였다(온라인 설문). 설문이 끝난 후 설문응시자 중에서 심층 인터뷰에 동의하는 수험자를 대상으로 설문 문항을 토대로 심층 인터뷰를 진행하였다.
우선 수집된 설문 자료는 통계 분석 프로그램인 SPSS. 20을 이용하여 세부적으로 분석하였으며, 유의수준은 0.05로 설정하였다. 이후 전체 설문 응시자의 EPTA 안면타당도 및 발전방안에 관한 의견을 알아보기 위하여 기술통계(평균값, 표준편차 등)분석을 실시하였다. 이때 각 항목별로 평균값이 2.5를 넘게 되면 긍정이며, 2.5미만이면 부정적으로 인식한다는 것을 나타낸다. 뿐만 아니라 조종사의 비행경력별로도 통계적 유의미함을 도출하기 위하여 일원배치 분산분석을 활용하였다. 만약, 사후분석이 추가적으로 필요한 경우에는 사후분석 방법 중 Tukey HSD방법을 실시하여 집단 간 차이를 살펴보았다. 마지막으로, 인터뷰 분석을 위하여 설문자료 분석을 마친 후 녹음된 모든 파일의 전사 작업을 수험자별로 수행하였다. 전사 작업의 분석은 Nvivo 12 프로그램을 사용하였다.
Ⅳ. 연구결과
다음의 Table 6은 전체 조종사 수험자의 EPTA 안면타당도 기술통계 결과이다.
| 범주 | 문항수 | M | SD |
|---|---|---|---|
| 목적 | 6 | 2.96 | 0.77 |
| 내용/구성 | 8 | 2.91 | 0.72 |
| 난이도/평가 | 7 | 2.47 | 0.75 |
| 제도/환경 | 7 | 2.48 | 0.73 |
| 종합 | 28 | 2.70 | 0.56 |
Table 6에서 볼 수 있듯이, 전체 수험자의 안면타당도는 M=2.70(>2.5)로 나타났다. 다시 말해, 조종사 수험자들은 개정된 EPTA에 대해 대체로 긍정적인 인식을 지니고 있었다. 뿐만 아니라, 하위범주 중에서는 ‘목적’을 가장 긍정적으로 인식하였으며, ‘난이도/평가’(M=2.47)와 ‘제도/환경’(M=2.48)로 수험자들이 다소 부정적으로 인식한다는 걸 알 수 있었다. 이를 종합해 보면 다음과 같은 그래프로 나타낼 수 있다(Fig 1). 또한 각각의 네 가지 하위범주에 따른 세부적인 설문 문항에 대한 기술통계 결과 및 인터뷰 응답은 Table 7과 Table 8에 정리하였다.
전체 조종사 수험자들의 안면타당도 설문조사 및 인터뷰 결과를 종합해 보면 다음과 같이 정리할 수 있다.
조종사 수험자는 전반적으로 개정된 EPTA가 타당한 시험이라고 인식하였다. 특히 시험의 목적인 ‘항공안전증진 및 항공영어 능력 향상’을 충실히 달성하였다고 분석되었다. 또한 시험이 항공영어능력 향상을 위한 동기 부여를 제공한다는 것도 알 수 있었다.
다음으로 수험자들은 시험의 ‘내용 및 구성’에 관해서도 긍정적인 반응을 보여주었다. 그 이유는 모든 문항이 비행 상황을 잘 반영하였으며, 실제로 사용되는 표준무선통신영어와 일반영어를 평가하기 때문으로 분석되었다.
시험의 ‘난이도 및 평가’와 관련해서는 다소 부정적인 견해를 가지고 있었다. Part 2는 응답시간이 짧고, 비상상황 대처 어려움으로 인해 난이도가 어려운 반면에 Part 1은 기초적인 수준의 표준무선통신영어를 평가하기 때문에 난이도가 쉽다고 하였다. 즉, 상대적으로 Part 2는 난이도가 어렵고, Part 1은 쉽기 때문에 난이도 설정이 적절하지 못하였다고 인식하였다. 또한 수험자들은 평가결과와 관련된 모범 샘플 답안이 없기 때문에 평가결과를 신뢰할 수 없으며, 자신들의 시험결과와 ICAO LPRs 채점기준이 정확히 일치하는지에 관해서도 불신하였다.
수험자들은 ‘시험의 제도 및 환경’도 다소 부정적으로 인식하였다. 이와 더불어 시험을 보기 위한 장소 및 시간의 부족뿐만 아니라, 접수 방식 및 비용의 문제점도 지적하였다. 또한 항공영어의 중요성에 비해서 학습자료 및 학습강의 등 교육여건이 미비함을 알 수 있었다.
조종사 수험자의 비행경력에 따른(기장, 부기장, 일반 사업용 조종사) 안면타당도를 살펴보기 위해 일원배치 분산분석 및 사후검정 Tukey HSD를 실시하여 분석하였다(Table 9).
비행경력별 조종사 수험자의 안면타당도 분석결과는 통계적으로 유의미함이 도출되었다(p=.025*). 시험의 ‘목적’은 비행경력별로 통계적 유의미함이 없었다(p=.362). 시험의 ‘내용 및 구성’에서는 부기장과 기장경력의 조종사가 일반 사업용 조종사보다 더 높은 안면타당도를 나타내었다(p=.024*). 시험의 ‘난이도와 평가’는 부기장경력의 조종사가 기장 및 일반 사업용 조종사보다 더 높게 인식함을 알 수 있었다(p=.000***). 시험의 ‘제도 및 환경’ 부분에서도 부기장경력의 조종사가 기장 및 일반 사업용 조종사보다 더 높게 인식함을 알 수 있었다(p=.027*). 위 결과를 그래프로 나타내면 다음 Fig 2와 같다.
Table 10에서 볼 수 있듯이, 비행경력에 따른 조종사 수험자 9명을 대상으로 인터뷰를 실시한 결과, 각각의 범주에 다양한 의견을 제시해 주었다. 종합적으로 조종사 수험자들의 비행경력별 안면타당도에 대한 설문조사 및 인터뷰 결과들을 요약하면 다음과 같다.
일반 사업용 조종사들은 실무경험 및 비상상황과 관련된 배경지식이 적기 때문에 기장 및 부기장의 항공사 조종사들보다 EPTA의 ‘내용 및 구성’에서 안면타당도가 더 낮음을 알 수 있었다. 반대로 항공사 기장 및 부기장 조종사들은 정기적으로 비상상황에 대한 훈련을 받기 때문에 해당 지식이 상대적으로 풍부해서 안면타당도가 더 높은 것으로 판단된다.
시험의 ‘난이도와 평가’ 부분은 기장경력 조종사들은 CBT 시험 방식의 생소함과 문제의 프롬프트(상황안내문/지시문)을 해석하는데 어려움을 겪으며, 자연스럽게 인터뷰하는 방식이 아닌 주어진 시간 안에 자신의 생각을 말하는데 어려움 겪는다는 것을 알 수 있었다. 또한 일반 사업용 조종사의 경우 시험방식이 아닌 비상상황 대처와 관련된 Part 2의 문제내용에서 난이도의 어려움을 겪는다는 것을 확인할 수 있었다. 이와는 반대로 부기장경력 조종사들은 항공영어의 중요성을 다른 경력에 비해서 더욱 중요시하게 생각하고 있으며, 실제 입사나 업무를 위해서 항공영어학습에 많은 노력을 기울이고 있기에 안면타당도가 타 경력에 비해 높은 것으로 분석되었다.
이 결과를 비행경력과 EPTA 등급과의 상관관계로 분석해 보면 비행경력이 가장 높은 기장 조종사들은 가장 많은 항공지식과 관제통신 경험에도 시험방식에 관한 생소함으로 EPTA 등급이 하락하였으며, 부기장 경력의 조종사들은 비행경력은 상대적으로 기장경력보다 떨어지지만 상대적인 시험방식의 익숙함과 많은 관제통신 학습량으로 등급을 상승시킬 수 있었다. 일반 사업용 조종사의 경우, 가장 적은 비행지식과 관제통신 경험 때문에 EPTA 등급이 타 경력에 비해 낮게 조사되었다.
이와 마찬가지로 시험의 ‘제도 및 환경’ 부분에서도 부기장경력의 조종사들이 기장 및 일반 사업용 조종사들보다 EPTA 시험의 중요도를 더 높게 인지하며, 기장 경력에 비해 CBT 기반 시험에 대한 이해도가 높기 때문에 안면타당도가 더 높은 것으로 분석되었다. 일반 사업용 조종사들은 항공사 수준의 비상상황 훈련을 받지 못하는 제도적인 문제점과 학습교재 부재 등의 이유 때문에 안면타당도가 낮으며 기장경력 수험자들은 CBT 기반의 시험에 대한 생소함으로 안면타당도가 부기장보다 낮다고 해석할 수 있다. 종합적으로 부기장 경력의 조종사가 일반 사업용 및 기장경력의 조종사 보다 EPTA에 대한 안면타당도가 더 높다는 것을 알 수 있었다.
Ⅴ. 결 론
본 연구는 개정된 EPTA에 대한 전체 조종사 수험자의 안면타당도를 분석하고, 103명의 조종사 수험자를 비행경력에 따라 세분화하여 비행경력이 시험의 안면타당도에 영향을 미치는지를 알아보고자 하였다. 또한, 조종사 수험자를 비행경력에 따라 세 집단(기장, 부기장, 일반 사업용 조종사)으로 나누어서도 살펴보았다. 이를 위해 연구자는 28개의 문항으로 구성된 설문조사를 실시하였으며, 이후 설문결과를 바탕으로 인터뷰 대상자를 집단별로 3명씩, 총 9명을 선정하여 심층 인터뷰를 실시하였다.
본 연구에서 확인된 연구 결과들은 다음과 같이 요약할 수 있다. 우선 전체 조종사 수험자들은 종합적으로 EPTA가 타당한 시험이라는 의견을 보여주었다. 세부 범주별로는 시험의 ‘목적’ 및 ‘내용 및 구성’이 타당하다고 인식하였으며, ‘난이도 및 평가’ 및 ‘제도 및 환경’ 부분은 다소 부적합하다고 인지하였다. 비행경력별로는 부기장 경력의 조종사들이 기장 및 일반 사업용 조종사들보다 시험에 대한 안면타당도가 높게 조사되었다.
구체적으로 수험자들은 EPTA의 ‘내용 및 구성’이 비행상황을 적절히 구현하여 표준관제영어와 일반영어를 평가하기 때문에 개정된 EPTA가 타당하며 항공영어 학습에 도움이 된다고 인식하였다. 또한 이것으로 시험의 도입 목적인 항공안전증진에도 EPTA가 실질적으로 도움이 된다고 답하였다.
시험의 ‘난이도 및 평가’의 경우는 수험자들은 대체로 비상상황과 관련된 Part 2에서는 시간이 부족하거나 내용을 이해하는데 어려움으로 인해 난이도가 높다고 느끼고 있었으나, 반면에 표준관제영어를 구사하는 Part 1의 경우는 오히려 난이도가 일상 업무보다 평이하여 안면타당도가 낮음을 알 수 있었다. 또한 수험자들은 자신의 영어 능력에 비해 평가결과가 불일치한다며 ‘평가 결과’에 대한 안면타당도가 다소 떨어짐을 알 수 있었는데, 이 때 등급별 표준 답변 샘플을 제공한다면 수험자들의 평가결과 신뢰도를 높일 수 있을 것이다.
‘제도 및 환경 ’측면에서도 수험자의 안면타당도가 다소 낮게 분석되었다. 이는 현재 EPTA 수험처는 서울 한 곳뿐이며, 1주일에 제한적인 시간 내에서만 평가를 치룰 수 있기 때문이며, 다양한 시험의 장소의 제공 및 시험 응시 시간 횟수의 확대로 해결할 수 있을 것이다. 게다가 기타 영어구술평가 시험과 비교해 보면 응시료가 높게 설정되어 있기 때문에 응시료 인하도 필요할 것이다.
구체적으로 비행경력별로는 부기장 경력의 조종사가 다른 조종사들에 비해 안면타당도가 높았다. 이것은 부기장 경력의 조종사가 운항 업무 중 주로 관제통신 업무에 어려움을 겪기 때문에 항공영어 및 평가의 중요성을 타 경력에 비해 높게 인식하는 것으로 분석되었다.
반면에 기장 경력의 조종사는 시험 외적인 요소로 컴퓨터 기반의 시험(CBT)에 대한 이해도가 떨어지기 때문에 안면타당도가 다소 낮게 분석되었으며, 이것은 CBT 시험안내 및 샘플테스트 개수의 증가로 해결해야 할 것이다.
운항학과 학생 및 일반 사업용 조종사들은 비상상황을 대처해야 하는 Part 2의 어려움을 겪으며 항공사 조종사와 달리 비상상황 훈련여건이 열약하여 시험에 대한 안면타당도가 부기장 조종사보다 다소 낮게 분석되었다. 따라서 이러한 일반 사업용 조종사를 위하여 국가차원의 표준화된 EPTA 교육프로그램을 정립하거나, 정기적인 항공영어 세미나를 개최하여 항공영어에 대한 경각심을 높일 필요가 있을 것이다.
종합적으로 개정된 EPTA는 시험의 ‘내용 및 구성’이 항공상황과 실제 업무를 적절히 반영하고 있어 기존의 문제구성이 항공상황을 제대로 반영하지 못하였다는 문제점을 개선하였으며, 실질적인 항공안전 증진에 도움을 줄 수 있을 것으로 기대된다. 다만, 시험의 ‘난이도 및 평가결과’, ‘제도 및 환경’ 부분에서 개선사항들이 도출되었고, 해당 사항들을 적절하게 개선하고 제도를 정비하게 된다면 EPTA는 현재보다 더 높은 안면타당도를 갖추며 모든 경력의 조종사 수험자들이 만족할 수 있는 시험이 될 것으로 사료된다.
