PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:6,313)
Ⅰ. 서 론
향후 20년 간 승객 및 화물 운송을 위한 상용 항공기 운영 대수는 약 2배가량 증가할 것으로 예측된다. 그래서 2037년까지 42,730여대의 새로운 상용 항공기가 요구되고 있으며 이들 항공기의 가치는 총 6.3조 USD(US. Dollar)에 이를 것으로 전망된다[1]. 이와 같이 항공 여객 수요가 증가함에 따라 항공여행을 이용하는 승객 편의 증진 또한 주요 화두로 대두되고 있다. 이 가운데 여러 분야에서 최신 기술들을 적용해 항공기 인테리어 시장에서 우위를 점하고자 노력하고 있다. 이러한 경향은 매년 4월 독일 함부르크 항공기 인테리어 엑스포(AIX, Aircraft Interiors EXPO)에서 전시되는 아이디어와 신제품을 통해 확인할 수 있다[2, 3].
이러한 최신 기술 가운데 항공여행 승객 편의를 향상시키기 위해 인간-기계 인터페이스 (HMI, Human-Machine Interface) 기술이 활발하게 적용되고 있다. HMI의 사전적인 의미는 ‘시각이나 청각과 관련된 인간의 아날로그적인 인지의 세계와 컴퓨터의 디지털을 처리하는 기계의 세계를 연결하는 인터페이스’다. 이 기술로 인해 과거에 사용자가 기계에게 일방적으로 명령하는 방식이 아닌, 기계와 사용자가 정보를 주고받는 양방향 소통이 가능하게 되었다.
HMI 기기는 기계를 쉽게 작동시키기 위한 목적으로 시작된 사용자 친화적인 기기로 제품 및 제조공정을 제어하는 데 중요한 역할을 하고 있다. 그 역사는 1945년 배치 인터페이스부터 시작해 1969년 명령줄 사용자 인터페이스, 1981년 그래픽 사용자 인터페이스 등의 과정을 거치며 발전되어 왔다. MP3 플레이어와 게임 장치 등은 직관적이고 간략한 그래픽 사용자 인터페이스의 적용으로 인해 빠른 대중화가 가능하게 되었다. 이러한 HMI는 항공기 시뮬레이터, 항공기 객실 내 디스플레이, 승무원 장비, 정비 및 보수 장비, 각종 운영 지원 등 다양하게 적용되고 있으며, 항공 운송 산업의 성장과 함께 지속적으로 그 수요가 증가하고 있다.
항공기 인테리어 분야에서는 사용자의 편의성을 높이기 위해 다기능 구현이 가능한 HMI를 적용하고 있다. 이와 더불어 최근 다양한 소프트웨어들이 개발되고 있는 가상현실(VR, Virtual Reality)과 증강현실(AR, Augmented Reality) 기술을 적용하여 효율적인 HMI 기술 활용 방안 모색을 통해 항공운항 분야 발전을 꾀하고 있다.
이 밖에도 HMI에 VR과 AR뿐만 아니라 인공지능(AI, Artificial Intelligent)을 결합하여 사람을 인식하고 정보를 제공하는데 활용할 수 있다. 여기서 AI는 얼굴표정 인식과 같이 인간만이 할 수 있는 학습을 수행하거나 사람의 뇌와 같은 지능을 가진 컴퓨터를 말한다. 추가로 모든 물건에 통신 기능이 장착되어 상호 소통이 가능한 사물인터넷(IOT, Internet of Things) 기술을 결합하여 수하물이나 각종 항공기 내 기기 및 갤리(Galley) 등을 관리하는데 활용할 수 있다. 특히 항공기와 같이 소속 국가가 속한 특정 지역에서 운영되는 경우 각 지역의 문화와 습관을 포함하여 다양한 사용자를 고려한 HMI 설계 및 개발이 요구되고 있다[3, 4]. 특히 항공기 내 밀폐된 공간에서 많은 이용자가 사용하는 화장실, 갤리, 좌석 등에서 위생에 대한 문제가 대두되고 있어 이를 고려한 비접촉식 화장실 등과 같은 HMI의 개발도 활발히 진행 중이다[4].
VR은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸, 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. 컴퓨터 그래픽 또는 실제 영상/이미지를 활용하여 가상의 공간을 만들어 이를 통해 다양한 체험을 사용자에게 제공해줄 수 있다. VR에 사용되는 전용 고글은 사용자가 체험할 때 발생할 수 있는 ‘가상현실 멀미’를 줄이기 위해서는 초당 60~120 프레임을 재생할 수 있어야 하며 사용자의 움직임을 따라갈 수 있도록 영상의 지연이 없어야 한다[5]. 이와 같은 영상을 안정적으로 처리하며 재생하기 위해서는 높은 처리 속도의 CPU와 그래픽 기술 등이 필요하다. 이 밖에도 온라인을 통한 데이터 전송을 위해서는 기가급 이상의 인터넷 속도와 5G 이상의 모바일 네트워크가 필수적이다 [5].
AR은 VR의 한 분야에서 파생된 기술로, 현실세계와 가상사물을 결합하는 기술을 의미한다. 즉, 실제 사용자가 위치한 환경에 목표한 대상에 대해서만 컴퓨터 그래픽 또는 실제 이미지를 활용한 3차원 가상사물을 합성하여 원래의 현실에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 그렇기 때문에 VR과 달리 주변 환경 전체를 만들어야 하는 부담도 적고, 높은 재생 프레임이 필수적이지도 않다. 하지만 이들 가상사물의 현실 합성을 위해서는 위치인식, 마커인식, 영상합성 등의 기술이 요구된다. 이는 로봇 공학 등에서도 적용되어 급속하게 발전하는 기술로서 하드웨어 및 소프트웨어 개선 측면에서 다양하게 응용하여 여러 기능을 발휘하고 있는 유용한 도구다[6, 7, 8]. 항공우주 분야에서 AR은 수십 년 동안 유인 또는 무인비행체의 민간 항공 및 군용 항공기 내비게이션을 향상시키기 위해 사용되었다[9].
본 논문에서는 셀프 체크인, 셀프 수하물 수속, 공항 보안 및 감시, 공항 운영 모니터링, 기내 엔터테인먼트 및 통신(IFEC, In-Flight Entertainment & Connectivity), 객실 승무원 지원 등 항공운항 분야에 HMI 및 AR 기술의 구현에 대해 설명하였다. 또 공항 및 항공기 객실에서 응용할 수 있는 HMI 및 AR 기술들의 적용 현황 및 개발 동향에 대해 조사하고 분석하였으며, 승객들의 편의를 증진시킬 수 있는 다양한 방안에 대해서도 설명하였다.
본 논문은 항공운항 분야에서 HMI 및 AR 응용 연구의 잠재력을 평가하고 이를 널리 알리는데 그 목적이 있다. 이를 위해 개발한 HMI 및 AR 기술들에 대한 조사와 분석 이외에도 이들 기술을 활용하여 개인좌석의 편의 시설과 조종교육 프로그램, 객실 인테리어 등에 적용된 응용연구를 수행하였다.
II. 공항 및 항공기 객실에서의 HMI 및 증강현실 기술
HMI 기술의 대표적인 사례로 항공기 조종석을 들 수 있으며, 상호 통신이 가능해 조종사의 업무 부담을 줄여준다. AR은 1950년대 등장한 헤드업디스플레이(HUD, Head Up Display)에서 시작되었다. 이는 현실세계에 대한 다양한 정보들을 보강하여 VR과 현실세계에서는 구현하기 어려운 실시간 정보 제공을 가능하게 해주는 장점을 가지고 있다. 이러한 AR 기술이 항공운항 분야인 공항과 항공기 객실에서 어떻게 적용되는지 설명하고자 한다.
HMI의 대표적인 사례로 공항에서 체크인을 할 때 볼 수 있는 무인정보단말기(키오스크, Kiosk)를 들 수 있다. 보다 직관적인 HMI을 적용하여 승객이 직접 티켓팅부터 탑승까지의 모든 과정을 스스로 진행할 수 있는 시스템을 제공한다. 승객은 수하물에 태그를 부착하고 수하물을 낙하 벨트에 올려놓는다. 그리고 출국 게이트로 바로 들어갈 수 있다[10]. Fig. 1은 인천공항에서 제공하고 있는 셀프 수하물 수속 사진을 보여주고 있다.
현재 여러 공항에서 부분적으로 제공되고 있는 셀프체크인 서비스는 빅 데이터 분석을 적용하여 승객이 보다 효율적인 체크인 과정을 진행할 수 있도록 도와준다. 각 단계 별로 소요되는 시간을 분석하여 승객의 대기시간을 줄일 수 있도록 필요한 기계를 추가로 배치하여 탑승까지의 시간을 줄여준다. 이러한 셀프 체크인은 공항에서 길고 지루한 대기열을 피하는데 도움을 주어 승객들에게 편리함을 제공한다.
최근 인천공항공사는 AI, IOT 등 4차 산업혁명 기술을 활용한 ‘인천공항 스마트 100대 과제’를 발표했다[11]. 이들 기술의 도입을 통해 얼굴인식, 생체인증 출국심사, 홈 체크인 서비스, AR 면세쇼핑, 무인 면세매장 등이 활용되는 스마트 공항의 면모를 갖출 수 있을 것으로 기대된다.
Fig. 2는 2018년 7월에 인천 공항에 배치되기 시작한 공항 안내 로봇인 에어 스타(Air Star)를 보여준다. 에어 스타는 다년간 시험 운행을 거쳐 기능 및 디자인을 개선하여 배치되었다. 약 1.6m 크기의 에어 스타는 자율 주행, 음성 인식, 인공 지능 등을 탑재하고 있으며, 한국어, 영어, 중국어, 일본어 등의 4개 국어를 인식한다. 승객들은 에어 스타를 통해 공항 시설 및 출국장 안내 등을 받을 수 있다. 현재 인천공항의 1, 2 터미널에 14대의 에어 스타가 배치되었다[12].
위에서 설명한 것과 같이 AR은 현실의 장면에 가상의 이미지 혹은 정보를 동시에 볼 수 있는 특성이 있다. 이러한 특성을 활용하여 수하물을 보며 동시에 이와 관련된 정보를 사용자가 볼 수 있도록 해준다. 수하물 고유의 QR 코드와 같은 마커를 부여하고 각 마커에는 각 수하물 소유자의 정보와 도착지, 경유지 등의 정보를 표현할 수 있도록 한다.
그밖에도 승객의 수하물 적재 과정 중 작업자들이 AR 고글 등을 착용하여 수하물의 배치 오류 등을 실시간으로 점검하고, 적재된 수하물의 위치와 승객의 정보 기록 등을 저장할 수 있다. 이를 통해 비상 혹은 위급 상황 시 해당 승객의 수하물 위치를 파악하여 별도의 조치를 취할 수 있을 것이다. 수하물을 적재할 때 분류의 오류로 인해 잘못 배정된 수화물을 바로 확인할 수 있고, 경유 노선 등으로 인해 별도의 이송이 필요한 수하물의 분류 및 적재 등에도 크게 활용될 수 있을 것이다.
1999년 미국 캘리포니아 어바인에서 창업한 이온 리얼리티(Eon Reality)는 싱가포르 창이 공항의 램프 취급 업체(SATS Ltd.)에게 제공할 AR 솔루션 개발을 진행 중이다. Fig. 3과 같이 지상근무요원(Ground Handler) 가운데 수하물 담당자는 AR 응용기기를 사용하여 수하물 중량, 개수, 목적지 등의 정보를 확인할 수 있다[13]. 이를 통해 수하물의 적재 순서, 특정 수하물 또는 화물 컨테이너의 항공기 내 위치를 결정하는 데 도움을 받을 수 있다. 이 AR 응용기기는 인간의 뇌와 유사한 지능을 갖는 AI, 모든 물건에 통신 기능이 장착되어 정보를 교환하는 IOT 등과 함께 작동하는 모듈로 이온 리얼리티의 증강현실 보조(AR Assist)를 사용한다. 이러한 응용기기의 개발은 조만간에 완료될 것으로 예상된다.
지난 2018년 5월, 인천국제공항공사는 공항보안구역 상주직원 출입구에 비접촉식 지문인식이라고 불리는 생체인식 보안 시스템을 시범적으로 도입하였다. 이 기술은 Fig. 4에 보이듯이 사용자가 지문을 기기에 직접적으로 접촉하지 않고 손을 넣었다 빼는 방식의 손동작으로부터 3D 이미지를 획득하여 네 손가락의 지문정보를 자동으로 인식한다. 이러한 보안시스템은 직접 접촉을 하지 않으므로 액체가 묻은 손가락이나 지문이 훼손된 경우에도 인식을 하는 장점이 있다. 또한 위생적이며 보안성이 뛰어날 뿐만 아니라 처리속도도 빨라 효율성을 높일 수 있다. 따라서 인천공항은 상주직원들의 출입절차를 효율적으로 개선하고, 출입증 인식과 함께 지문인식을 통해 더욱 보안을 강화할 것으로 기대하고 있다[14].
공항 보안 및 감시 시스템에 센서, 카메라 및 처리 장치가 추가된 AR 시각 장치 등을 사용할 수 있다. AR 시스템을 보안 카메라, 적외선(IR, Infra-Red) 추적기, 기타 감지 기술에 연결함으로써 범죄 활동을 방지하여 보안을 강화할 수 있는 것이다. 예를 들어, 공항 보안 검사에서 AR 고글을 착용한 경우 수하물뿐만 아니라 신체 부위의 X-레이 스캐닝을 대체할 수 있다. 개선된 얼굴 인식, 비디오 분석 및 위협 인식 알고리즘의 구현을 통해 이러한 목표를 달성 할 수 있다[15].
이와 같은 AR 고글을 이용한 생체인식 시스템은 점점 더 적용범위가 확대될 것이며, 공항보안 및 감시에 완벽을 기할 수 있을 것이다.
AR 기술은 항공교통관제(ATC, Air Traffic Control)를 할 때 제공되는 많은 양의 정보를 효율적으로 관리할 수 있다. 또한 Fig. 5에서 홀로렌즈(HoloLens)를 사용한 항공교통관제의 개념을 보여주고 있다. 이처럼 사용자가 원하는 정보 패널을 원하는 위치에 배치하고, 실시간으로 제공되는 정보를 확인할 수 있도록 한다. 이외에도 관제사가 필요로 하는 공간 자체도 줄일 수 있어 제한된 공간에서 더욱 많은 정보를 효율적으로 제공하고 처리할 수 있다.
종래의 항공관제 절차에 따르면 항공 교통관제사는 근무 시간의 약 12-49% 정도 공역을 관측하는데 소요한다[16]. 하지만 AR을 이용한 관제 프로그램은 항공 교통 관제사(ATCO, Air Traffic Control Officer)가 머리를 숙여 스크린을 보는 시간을 최소화하게 해준다. AR 고글 화면에 활주로 및 유도로 점유율, 지상 차량 위치 및 궤적, 공역에서의 비행 데이터를 표시하기 때문이다. 항공 교통 관제사들은 그들이 보는 시야 내에 AR 화면을 배치함으로써 운용 공역에 대한 상황인식을 향상시키는데 필요한 공역과 정보를 시각화 할 수 있다[17].
공항 운영자 및 직원들이 공항 운영을 위한 업무를 보다 손쉽게 접속하고 파악하기 위한 효율적인 HMI 체계의 개발이 필요하다. 항공통신 및 정보기술 전문 연구소인 SITA 연구소는 핀란드 헬싱키 공항과 함께 AR을 사용하여 공항 운영을 강화할 수 있는 홀로렌즈 헤드셋을 개발하는 프로젝트를 시작하였다[19]. 이 프로젝트는 혼합 현실 환경에서 공항운영 통제센터(AOCC, Airport Operational Control Centre)를 재현하는 장치를 개발하는데 그 목적이 있다. AR 장치는 공항에서 운영 데이터를 애니메이션, 지도, 차트 및 문자와 숫자 등의 형태로 투영할 수 있다. 이 밖에도 3D 공간에서 공간적으로 고정된 홀로그램과 무선 네트워크 데이터 전송으로 가능하도록 할 계획이다[20].
AR 기술을 조종석에 적용하려는 연구는 예전부터 꾸준히 이루어지고 있다[21]. 1918년 독일의 Optishce Anstalt Oigee 사는 전투기 조종사를 위한 반사 조준경을 개발하여 장착된 기관총의 사용 효율을 높였다[22]. 이후 1958년에 첫 항공기용 전방표시장치 (HUD, Head-Up Display)가 개발되어 1960년대부터 전투기에 적극 도입되기 시작하였다[23]. 1969년에는 헬멧 장착 표시장치 (HMD, Helmet-Mounted Display)가 미 공군의 조종석 개선 프로그램을 통해 개발되었다[24]. 이들 장비의 개발을 통해 조종사는 비행 중 주요 정보를 보기 위해 고개를 숙이지 않고도 파악할 수 있게 되었다. 이들 기술의 적용이 확대 되어 지난 2018년 7월 판보로 에어쇼에서 BAE 사는 증강현실 조종석을 적용한 영국의 차세대 전투기 템페스트(Tempest)의 실물 모형을 전시하였으며, 이를 Fig. 6에 나타내었다[25].
BAE 사는 Fig. 7에서 보여주고 있는 스트라이크 II(Strike II)라는 개선된 조종사 헬멧을 개발하여 유로파이터 등과 같은 자국 전투기에 적용할 수 있도록 하였다[25]. 스트라이크 II는 별도의 무거운 야시 고글 없이도 야간 임무를 수행할 수 있으며, 조종사의 시야뿐만 아니라 AR을 통해 다양한 정보를 보여줄 수 있다. 향후 템페스트에는 보다 개선된 AR 시스템이 적용될 것으로 보인다.
다양한 임무를 수행하는 조종사는 AR 조종석을 활용해 비행할 때 가해지는 피로와 스트레스를 줄일 수 있을 것이다. 또한 AR 조종석은 직관적인 HMI 체계를 통해 보다 효율적인 무기 관제 시스템을 제공하고 있다. 이 밖에도 조종 임무 중 주요 비행 자료, 임무 목적 및 주요 정보 등이 조종사의 일반적인 시야와 함께 제공된다. 이들 정보는 조종사가 머리를 움직일 때도 그 움직임과 함께 이동함으로 조종 중에도 이를 놓치지 않도록 해준다. 개발되는 AR 시스템은 조종사의 안구 움직임 및 행동을 인식하여 다양한 조작을 가능하게 한다. 이를 활용한다면 조종사는 AR 시스템을 자신이 원하는 대로 조작할 수 있다.
이 밖에도 홀로그램 증강현실 서비스 기업인 스위스 웨이레이(WAYRAY) 사는 2019년 1월에 미국에서 열린 세계가전전시회(CES, Consumer Electronics Show) 행사에서 자동차에 장착되는 AR 네비게이션 시스템을 선보였다[27]. Fig. 8에 제시되었듯이 해당 장비를 통해 운전자는 자동차 운적석의 전 방향에 표시되는 정보를 운전 중 쉽게 인식할 수 있다. 해당 장비는 추후 현대 자동차의 새로운 모델에 장착될 예정이다. 이와 같은 장비를 항공기 조종석에 적용하게 되면 조종사는 항로 정보, 공항 및 해당 공역의 항공기 상황 등 다양한 정보를 별도의 계기판이나 음성 통신 없이 시야 범위 내에서 획득할 수 있다.
이와 같이 AR 시스템의 조종석 적용을 통해 불투명한 전투기 조종석 구성이 가능해지고, 이를 통해 전투기의 스텔스성을 향상 시킬 수 있을 것으로 전망된다. 또한 AR 기반 조종석은 인공지능 기술의 적용을 통해 조종사에게 가해지는 다양한 업무 피로를 분석하고 이를 적용하여 항공기의 운영 효율을 높일 수 있을 것이다.
여객기 승객은 개인별 기내 엔터테인먼트 및 통신(IFEC, In-Flight Entertainment and Connectivity) 시스템을 통해 다양한 정보를 실시간으로 확인할 수 있다. 이를 통해 가까운 위치의 화장실 사용자 유무 및 사용 예약, 개인 좌석의 조명 조절, 면세품 현황 확인, 각종 서비스 제공 시간 확인 및 요청 등이 가능하다. 또 기내에 있는 상품 외에도 각종 면세품의 쇼핑 및 결재 등과 같은 다양한 서비스를 제공 받을 수 있는 시도가 이루어지고 있다. 실례로 IFEC에서 바로 승객의 카드를 결제할 수 있는 시스템이 개발되어 시험 중에 있다.
개선된 HMI 체계를 가진 IFEC는 승객들에게 편리하고 다양한 콘텐츠 및 조작 환경을 제공해 줄 수 있다. 항공사는 승객 별 데이터베이스를 구축하고 이를 통하여 승객의 면세품 구매 취향, 선호 좌석 위치 및 주요 이용 구간 등 승객들에게 개인 맞춤 서비스를 제공한다.
Fig. 9는 블루박스 사의 무선 휴대용 IFE(In-Flight Entertainment)를 보여준다.
세계적인 항공사와 항공기 제작사들 또한 다양한 정보통신기술(ICT, Information & Communication Technology)을 활용하여 개선된 객실 엔터테인먼트 시스템의 구성 및 개발, 시험에 노력하고, 3D 화면 등과 같이 보다 발전된 시현 기구의 적용 방안도 연구하고 있다. 이 밖에도 항공사는 사용자의 요구를 충족할 수 있도록 개인 휴대용 스마트 기기의 기내 활용 방안을 모색하고 있다.
또 승객은 경량 AR 아이웨어(eyewear) 및 스마트 안경으로 이미지, 비디오 및 증강된 애니메이션 등과 같은 다양한 2D 및 3D 홀로그램을 통하여 기내 엔터테인먼트 및 통신을 즐길 수 있다. 또한 AR을 통해 안전벨트 고정, 승객서비스 유니트(PSU, Passenger Service Unit)와의 상호 작용, 산소마스크 사용 및 승무원 지원 요청과 같은 작업을 승객에게 안내할 수 있다. 또한 비전 시스템즈(Vision Systems)의 “액티비전-스마트 대화형 창(ActiVision-Smart Interactive Window)”은 대화형 지도, 식사 계획, 항공편 정보, 뉴스 및 게임 등과 같은 일반적인 AR 서비스를 제공하기 위해 항공기 창에 설치된 AR IFEC 시스템이다. 이것은 AR이 가능한 투명 화면을 항공기 객실창으로 사용하고, 홀로그램을 통해 기내 엔터테인먼트 및 통신을 즐길 수 있다. Fig. 10은 비전 시스템즈 사의 액티비전-스마트 대화형 창을 보여준다.
이와 같이 항공기 객실분야 서비스의 효율 향상을 위해 승객 및 승무원이 활용 가능한 AR 및 AI 소프트웨어의 연구 및 개발이 필요하다. 개발 후 인증을 위해 개인 휴대용 기기 활용 방안 및 기내 사용에 관한 시험 평가가 실행되어야 한다. 이러한 새로운 기술의 개발과 더불어 이들을 적용하기 위해서는 인증 및 시험 평가 항목이 제품의 개발 및 생산 단계에서부터 반영되어야 한다.
다양한 HMI 체계 구축을 통해 보다 편리하고 간소한 탑승 절차로 승객의 불편을 해소하는 연구가 필요하다.
최근 캐나다의 국립연구위원회(NRC, National Research Council)는 객실 편의 및 환경 연구시설(Cabin Comfort and Environment Research Facility)을 설립하였다[28]. 이 시설을 통해 항공기 객실 내 진동, 소음, 온도 등이 승객에 미치는 영향 등을 다방면으로 연구하고 있다.
Fig. 11에서 보이는 객실 연구 시설은 다양한 크기의 항공기에 대한 연구를 수행하기 위하여 객실 내부의 크기 및 좌석 배치를 변경할 수 있다. 또한 외부 햇볕에 대한 재현도 가능하므로 다양한 상황을 연출하여 효율적인 연구를 수행할 수 있다. 이 밖에도 항공기 객실뿐만 아니라 항공기에 탑승하기 전까지의 모든 단계, 즉 체크인부터 항공기 탑승까지의 모든 과정에 대한 연구도 실행할 수 있는 환경을 제공한다. 이러한 시설을 활용하여 승객의 탑승 과정까지 필요한 다양한 과정에 적용할 수 있는 HMI에 관한 연구를 수행할 수 있다. 이를 통해 개선된 HMI의 적용이 승객의 탑승 시간을 얼마나 줄일 수 있는지, 또한 승객의 편의를 얼마나 증진시킬 수 있는지에 대한 연구결과를 얻을 수 있다.
항공기 객실 내 승무원들은 개별 스마트 기기 혹은 홀로렌즈 등을 통해 승객들에게 보다 효율적인 서비스를 제공할 수 있다. 이러한 장비는 실시간으로 승객 개인 및 항공기 상황에 대한 정보를 실시간으로 제공하여 이에 대한 적절한 조치를 가능하게 한다. 갤리(Galley) 내 용품, 기내식, 면세품 등 각종 서비스 제공 현황의 실시간 파악해 보다 효율적인 서비스도 제공할 수 있다.
에어 뉴질랜드(Air New Zealand) 항공사는 주요 탑승객을 인식 한 다음 승무원에게 정보를 검색하고 보강할 수 있는 AR 장치 개념을 제안하였다. 제안된 내용은 기내 반입용 홀로렌즈로 개발되며, Fig. 12와 같이 객실 승무원에게 주요 승객 정보를 제공한다[29]. 이와 관련된 구체적인 보고서는 없지만 승무원들이 갤리에서 일하면서 이 기술을 사용하고, 승객에게 서비스하는 동안에도 비행 정보를 읽으며 통신 할 수 있다. 이러한 응용 기술은 고급 컴퓨터 비전 알고리즘, 클라우드 컴퓨팅, 통신 및 기존 AR 기반 모듈 등을 적용하여 구현된다[30].
전 세계 항공기가 취항하는 노선에 따라 각국의 음식문화뿐만 아니라 계절에 따라 선호하는 기내식 메뉴도 다르므로 이를 만족시키기 위해 갤리 장비 운영의 탄력성이 중요한 화두가 되고 있다. 객실 서비스를 선도하는 항공사들은 서양의 채식, 무슬림의 할랄 음식, 유대교의 코셔 음식, 인도식 채식 등과 같은 각국의 특정 음식을 고려한 기내식을 제공한다. 국적 항공사인 대한 항공과 아시아나 항공도 한식을 기내식으로 도입해 한식문화를 세계에 알리는데 일조를 했다[3].
여객기 기내에는 승무원과 승객에게 다양한 음식을 제공하기 위해 음식을 만드는 공간인 갤리가 필요하다. 갤리 장비의 개선을 위한 다양한 연구와 개발이 주요 기업들에 의해 이루어지고 있다. 특히 스위스의 디텔름 켈러 에비에이션(Diethelm Keller Aviation) 사는 여객기의 갤리 장비를 설계 제작하는 기업으로 Fig. 13와 같이 2018년 함부르크 항공기 인테리어 박람회에 기존 갤리 카트보다 24% 더 가볍고 개선된 내구도를 지닌 갤리 장비를 전시하였다[3].
디일 에어로시스템즈(Diehl Aerospace) 사는 Fig. 14와 같이 보다 진보된 갤리 장비인 스마트 갤리를 판매하고 있다. 스마트 갤리는 모듈화 개념을 적용하여 항공사로 하여금 보다 탄력적으로 운영할 수 있게 해준다.
스마트 갤리는 각 갤리 장비 별로 운영이 되며 갤리의 정면에 있는 터치스크린을 통해 다양한 기능을 조작할 수 있다. 플러그에 전원을 연결하자마자 사용할 수 있는 플러그 앤 플레이(Plug-and-Play) 기술로 쉽게 교체할 수 있어 다양한 모듈을 조합할 수 있다. 또 자체 시스템을 통해 교체된 모듈을 인식하여 앞면 스크린에 보여줄 수도 있다[31].
III. 개선된 HMI, AR 기술의 적용 기법
본 논문에서는 캐나다 라이어슨 대학의 혼합현실 몰입형 운동 시뮬레이션(MIMS, Mixed-Reality Immersive Motion Simulation) 연구실에서 개발한 IFEC 인터페이스인 종합 제어 응용(ICA, Integrated Control Application)에 대해 설명하였다. 또한 새내기 비행훈련생을 저렴한 비용으로 교육시킬 수 있는 AR 조종 훈련 프로그램을 개발하였다. 이를 이용하여 MIMS 연구실의 고정형 항공기 시뮬레이터를 활용한 비행 훈련 절차를 보다 효과적으로 수행할 수 있도록 하였다. 이 연구는 HMI 및 AR 기술이 항공운항 분야에 적용될 수 있다는 것을 보여준다.
MIMS 연구실은 항공기 및 항공기 객실 설계자를 위한 VR 및 AR 장비를 갖춘 실험실로, 항공기 시뮬레이션을 위한 다양한 하드웨어와 소프트웨어를 비롯하여 HMI 개발 소프트웨어 역시 구비하고 있다. 따라서 본 연구실은 항공기 설계를 위한 사용자 친화적인 환경과 VR/AR 몰입형 환경에 기반한 HMI 개발이 가능하다.
본 연구에서는 항공기 객실 내 개인 좌석의 편의 시설을 조정할 수 있는 IFEC 인터페이스인 종합 제어 응용(ICA)을 개발하였다. ICA는 터치스크린 기반 화면에서 사용하는 것을 가정하고 개발되었다. 아래 Fig. 15와 같이 엔터테인먼트, 환경, 객실 서비스 요청, 비행 정보와 같이 총 4개의 그룹으로 나누어 각종 기능들을 정리하였다. 각 그룹 별로 개별 테마 색상을 지정하였고 하부 항목들은 해당 색상을 배경으로 기능들을 선택할 수 있는 화면을 제공한다.
테마 색상은 화면의 수명 및 어두운 기내 환경을 고려하여 어두운 색상을 사용하였다. 환경 그룹은 사용자가 객실 의자의 각도, 창문의 어둡기, 조명, 소음 제거 등의 조절을 할 수 있는 기능들을 제공하고 있다.
본 연구를 통해 개발된 ICA는 MDC2230과 Arduino 등을 통해 의자, 조명 등과 같은 해당 장비와 연결하여 운영될 수 있다. 전체 시스템은 객실 관리 응용(CMA, Cabin Management Application) 기기를 통해 전체 항공기 객실의 개별 ICA를 연결하고 관리하게 된다. CMA는 개발 ICA의 조작과 별개로 이착륙 혹은 비상시에 조명 및 좌석의 기울기 등을 일괄적으로 조정할 수 있는 기능을 제공하기도 한다.
HMI는 데이터를 인간이 인지할 수 있고 이를 통해 제어하는 도구를 말한다. 이는 장비에 대한 관리 정보와 그래픽으로도 제공되어 운영자가 어떤 방식으로 동작하고 제어되는지를 쉽게 알 수 있게 한다. HMI의 표준적인 예인 시뮬레이터는 상업용 및 군용 항공기 조종을 배우는 훈련생들에게 쉽게 훈련할 수 있게 해주며, 훈련시간과 비용을 줄여준다. Fig. 16은 보잉 747-400의 시뮬레이터를 사용해 뉴욕 허드슨 강 상공을 비행하는 장면을 보여주고 있다.
여기에 AR 기술을 추가하면 현실 환경 위에 가상의 정보를 보여줄 수 있기 때문에 실제 장비의 교육에 탁월한 효율을 보인다.
본 논문에서는 MIMS 연구실 자체에서 보유한 고정형 항공기 시뮬레이터에서 홀로렌즈로 사용하는 AR 환경 기반 비행훈련 프로그램을 개발하였다. 홀로렌즈는 광학적 투과 방식의 AR 장비로 사용자의 눈앞에 반투과성 광 합성기가 부착되어 실제 외부 환경과 가상 객체를 함께 볼 수 있다. Fig. 17에서는 이러한 개념을 간략하게 보여주고 있다.
고정형 항공기 시뮬레이터에서 에어버스 (Airbus) A320 항공기의 구동을 위해서는 실제 항공기와 동일한 과정을 거친다. 그래서 조종훈련생으로 처음 접하는 사용자들은 그 과정을 알지 못하면 비행을 할 수 없다. 이를 해결하기 위해 본 논문에서는 각 단계에서 필요한 조작들을 효과적으로 훈련할 수 있는 프로그램을 개발하였다.
Fig. 18에 보이는 A320 항공기의 시동 및 이륙 매뉴얼을 참고하여 이들 프로세스를 홀로렌즈를 사용하여 영상 및 음성 자료와 함께 안내하는 매뉴얼 앱을 개발하였다. 이를 통해 단순히 매뉴얼에서 문자 정보를 통한 안내 보다 각 버튼의 위치 및 설명들을 영상 및 음성 정보를 통해 취득하여 보다 효율적으로 교육 및 훈련 과정을 수행할 수 있다.
Fig. 19는 이러한 조종 교육 프로그램의 간략한 개요를 보여주고 있다. 조종훈련생은 홀로렌즈 시뮬레이터 훈련 앱을 통해 영상 및 음성 정보로 각종 설명들을 듣고 직접 조종석에서 절차대로 시동을 걸 수 있다. 이는 조종훈련생에게 보다 효율적인 조종교육 및 훈련을 받을 수 있게 해준다.
조종 교육 프로그램은 Fig. 20과 같이 총 4개의 창으로 구성되어 있고 각 창마다 다른 형태의 정보를 제공해주고 있다. 4개의 창들은 모두 일정 정도의 투명도를 가지고 있어서 실제 시뮬레이션을 사용할 때 불편함이 없도록 하였다.
Fig. 20의 1번 화면에서는 이미지를 통한 정보를 제공해준다. 각 순서에 해당하는 조작 내용이 단계 별 이미지로 제공되어 사용자가 어떤 과정으로 진행되어야 하는지 알 수 있도록 해준다. 이미지만으로 사용자가 이해할 수 없을 수도 있기 때문에 2번 화면에서 각 단계에 해당되는 조작에 대한 영상과 음성 정보를 제공하여 사용자가 조작해야 하는 기구 및 버튼의 위치를 확인할 수 있도록 해준다. 3번 화면에서는 보다 간단하게 항공기 시동을 위한 각 단계 별 체크 리스트를 제공해준다. 4번 화면에서는 사용자가 각 단계의 진행을 위해 필요한 음성 입력에 대한 안내를 보여주고 있다. “Next”라는 음성을 신호를 통해 다음 단계로 진행되며, “Go Back”의 음성 신호를 통해 이전 단계로 돌아가 사용자가 놓친 부분을 다시 진행할 수 있도록 하였다.
이와 같은 고정형 항공기 시뮬레이터의 AR 기반 훈련 프로그램은 새내기 비행훈련생들을 아주 저렴한 비용으로 교육시킬 수 있게 해준다. Fig. 21은 이를 사용할 때 홀로렌즈의 착용 시점 및 훈련 모습을 보여주고 있다.
본 연구에서는 미국 워싱턴 주 레드먼드에 본사를 둔 마이크로소프트 사의 홀로렌즈를 사용하여 AR을 통한 항공기 객실 개념 시험 프로그램을 개발하였다.
Fig. 22는 홀로렌즈에 장착된 공간인식 센서를 보여준다. 좌우 각각 2개, 총 4개의 공간인식 센서를 통해 사용자 주위의 공간을 인식한다. 홀로렌즈를 사용할 경우 일반적인 AR 어플리케이션에서 가상 객체의 고정을 위해 요구되는 별도의 마커 또는 알고리즘을 사용하지 않고도 홀로렌즈에 장착된 공간인식 센서를 통해 사용자가 원하는 위치에 가상 객체를 고정할 수 있다.
Fig. 23은 홀로렌즈에서 공간인식 센서를 사용해 공간매핑(Spatial Mapping)을 한 결과를 보여준다. 실제 환경을 메쉬 표면으로 변환하여 가상의 객체와 상호작용하여 다양한 작동을 수행할 수 있도록 하고 있다.
Fig. 24와 25는 라이어슨 대학교가 보유하고 있는 실물 크기 항공기의 객실 모형 및 내부를 보여주고 있다. 본 연구에서 개발한 AR 항공기 객실 개념 시험 프로그램을 사용하여 실제 항공기 객실 모형 안에 다양한 객실 요소를 AR 환경에서 배치해보면서 실제 적용 후의 모습을 검토해볼 수 있다. 이를 통하여 새로운 객실 인테리어 개념의 적용에 소요되는 시간과 비용을 절감할 수 있다.
Fig. 26~28에서는 해당 객실 모형 내부에서 AR 객실 개념 시험 프로그램을 적용한 결과를 보여주고 있다.
Fig. 26은 유연한 OLED 화면을 여객기 객실의 천장에 설치했을 때의 모습을 AR 환경 아래에서 실제 항공기 객실 모형 내부에 적용한 모습을 보여주고 있다. 객실 천장에 장착한 유연한 OLED 화면을 통해 다양한 콘텐츠 및 외부 영상 등을 제공하여 승객들에게 새로운 경험을 제공해줄 수 있다.
Fig. 27은 AR 환경에서 투명한 화면을 이용하여 구현한 스마트 창문을 실제 항공기 객실 모형 창문에 적용한 모습이다. 스마트 창문에서 어떠한 콘텐츠를 제공해 주는 것이 승객의 편의 증진에 영향을 주는 지도 미리 적용해볼 수 있다.
Fig. 28은 AR 객실 개념 시험 프로그램에서 구현한 스마트 객실 칸막이를 보여준다. 스마트 객실 칸막이를 통해 비행경로 정보, 도착지 정보, 간단한 뉴스 등을 승객에게 제공해 줄 수 있으며, 이용하지 않을 때는 투명, 혹은 불투명 화면으로 사용된다. 이러한 활용 방안들을 AR 환경 아래에서 구현하여 보고 사용자 의견을 실제 개발에 반영할 수 있다.
이와 같은 천장의 OLED 화면, 투명한 화면을 이용한 스마트 창문 및 스마트 객실 칸막이 등의 객실 요소를 AR 환경 아래에서 체험하고 각각에 대한 특성을 분석한 후에 실제 적용하고 설치할 때 반영할 수 있다. 이러한 객실 요소는 프로그램 실행 후 기본 위치에서 홀로렌즈의 동작 인식 명령을 통해 이동 및 각도의 조절이 가능하다. 손짓으로 객실 요소를 선택하여 x, y, z 축으로 이동을 하고 객실 요소를 선택하고 홀로렌즈를 장착한 상태에서 사용자가 고개를 돌리거나 숙이고 올리는 동작을 통해 각도를 조절하여 원하는 위치에 정확히 고정할 수 있다.
본 연구에서 개발한 프로그램 항목들을 적용하여 실제 항공기 객실 모형 안에 다양한 객실 요소를 AR 환경에서 배치해보면서 실제 적용 후의 모습을 검토해볼 수 있다. 이는 새로운 객실 인테리어 개념의 적용에 소요되는 시간과 비용을 절감할 수 있는 장점이 있다.
IV. 결론
최근 항공운항 분야에서 HMI 및 AR 등의 기술을 활용할 수 있는 많은 방안들이 제시되거나 연구되고 있으며, 이를 통해 다양한 서비스 개선에 대한 연구도 박차를 가하고 있다.
본 연구는 수십 년 동안 여러 분야에 널리 사용 되어온 HMI 기술과 현실세계와 가상사물을 결합하는 AR을 실제 항공 운항 분야에 응용할 수 있는 내용들을 소개하였다. 이러한 HMI 및 AR 기술을 사용한다면 기존에 제공되고 있던 서비스 보다 더욱 효율적인 서비스를 제공해 사용자의 편의를 증진시킬 수 있을 것으로 기대된다. 또한 본 논문에서는 객실 내 개인 좌석의 편의 시설을 조작할 수 있는 ICA의 IFEC 인터페이스를 개발하였다. 이를 통해 사용자가 보다 직관적으로 다양한 서비스를 이용할 수 있다. 해당 ICA는 라이어슨 대학교에서 별도로 개발하고 있는 항공기 객실 운영 개선 연구에 활용되고 있다. 이 밖에도 홀로렌즈에서 구동되는 고정형 시뮬레이터용 AR 조종교육 프로그램을 제작하여 조종 훈련에 필요한 훈련시간과 비용을 절감할 수 있도록 했다. 더군다나 AR 기반 객실 개념 시험 프로그램의 개발을 통해 실제 항공기 인테리어의 개선에 소요되는 비용과 시간을 절약할 수 있었다.
이와 같은 HMI 및 AR 프로그램을 활용한 연구를 통해 승객 및 조종 훈련생에게 제공되는 서비스 및 교육, 훈련의 효율을 향상시킬 수 있다. 그러므로 본 연구에서 개발된 프로그램들은 사용 목적에 따라 그 효율성과 정확도를 향상시켜 항공기 인테리어 및 서비스 개선에도 적용할 수 있을 것으로 기대된다.
