언어, 인공지능 그리고 우리

언어 인공지능의 중요성

 언어의 가장 근본적 기능은 바로 의사소통이다. 이러한 의사소통 기능으로 개인 간의 지능이 연결될 때 언어는 더욱 강력한 힘을 가진다[4]. 언어는 인간사회 지능의 근간이며, 인공지능이 우리 삶과 초연결될 미래 사회에서도 중요한 역할을 할 것이다. 인간이 언어를 사용하고 문자로 그 역사와 문화를 기록하게 된 과거부터, 이 원고를 작성하는 현재, 또 이 글을 통해 오늘을 돌아볼 미래의 어느 순간까지도 ‘언어’는 인간사회 발전에 빠질 수 없는 요소이다. 그렇기에 온 세계가 주도권 경쟁에 힘쓰고 있는 인공지능 개발의 핵심 역시 ‘초거대 언어모델’에 있다.

단어 의미 표현기술

 사람과 상호작용하는 인공지능 개발을 위해서는 인간의 언어인 자연어(Natural Language)를 컴퓨터에게 이해시키는 것이 매우 중요하다. 컴퓨터에게 자연어를 이해시키기 위해서 사용하는 최근 기술은 인간의 뇌를 모사한 텍스트 학습 방식이다. 이 방법에서는 텍스트의 의미를 벡터 즉, 숫자의 묶음으로 표현한다. 이러한 숫자의 묶음이 단어의 의미를 잘 담고 있어야, 컴퓨터는 자연어를 활용한 다양한 작업을 수행할 수 있다. 이러한 숫자 묶음 표현을 잘 만들 수 있는 초창기의 단어 의미 표현기술이 바로 Word2Vec 이다. Word2Vec (워드투벡)은 2013년 구글에서 발표한 기술로[5, 6] 한 단어의 의미는 주변 단어에 의해 결정된다는 언어학의 ‘분포 가설’을 알고리즘으로 구현한 것이다. 그렇다면 Word2Vec은 어떤 기술일까? 그 원리를 위도와 경도 개념에 빗대어 살펴보자.

 구글 어스(Google Earth)를 통해 살펴본 고려대학교의 위도·경도는 대략 북위 35도, 동경 128도이다. 이를 좌표로 표현하면 “37°35′22″N  127°01′50″E”이 된다. 그렇다면 “34°41′38″N  135°30′08″E”와 “40°38′34″N  73°47′08″W” 중 고려대학교와 가까운 곳은 어디일까? 전자는 일본 오사카 시청의 좌표이고, 후자는 미국 뉴욕 존 F.케네디 국제공항의 좌표이다. 우리는 좌표의 정확한 위치를 모르더라도, 좌표에 나타난 숫자를 통해 두 나라가 가까운지 멀리 있는지 등을 알 수 있다. Word2Vec이 단어를 표현하는 것은 좌표를 찍는 방식과 그 개념이 유사하다.

 인간이 생산한 방대한 텍스트를 읽고, 주변 단어를 통해 각 단어의 의미를 숫자 묶음으로 표현한다. 다시 말해, 단어마다 고유한 주소를 가지는 것이다. 여기서 ‘주소’는 단어의 ‘의미’에 해당한다. 방대한 텍스트를 읽으면서 단어의 주소를 여러 개의 숫자 묶음으로 표현하는 이 과정을 ‘표현 학습(Representation Learning)’이라고 한다. 예를 들어 ‘사과’와 ‘자동차’, ‘오렌지’라는 세 개의 단어가 있을 때, ‘사과’와 비슷한 주소를 가지는 것은 ‘자동차’와 ‘오렌지’ 중 어느 것일까? 당연히 과일인 오렌지가 된다. 오렌지는 사과와 비슷한 주소를 가지게 되고, 자동차는 이들 둘과는 상대적으로 멀리 떨어진 곳에 위치하는 것이다. 직관적 이해를 돕기 위해 단어 위치의 표현을 2차원의 그림으로 표현해보면 그림 1과 같다.

 하지만 이러한 Word2Vec은 Out-of-Vocabulary (이하 OOV) 문제에 취약하다는 한계가 있다. OOV 문제란 인공지능이 텍스트를 학습하는 과정에서 마주하지 못한 새로운 단어(OOV)가 등장할 때, 그 단어에 대한 벡터 표현을 생성하는 데 어려움을 겪는 것을 말한다. Word2Vec은 하위 단어(sub-word)들의 결합으로 형성된 단어를 하나의 단위로 이해하기 때문에, 복합어나 형태소의 결합이 활발한 어휘 이해에 어려움이 있다.

 Word2Vec이 발표된 후로 자연어처리 기술은 빠른 속도로 발전해 챗지피티(ChatGPT)와 같은 인공지능이 탄생하였다. 그러나 챗지피처럼 인상적인 성능을 보이는 인공지능조차도 OOV에는 취약한 모습을 보인다. 그림 2를 보면, ‘뒤치닥거리’는 ‘뒤치다꺼리’의 잘못된 표기로 사실상 같은 의미임에도 불구하고, 챗지피티는 서로 다른 단어로 처리한다. 이는 챗지피티가 ‘뒤치다꺼리’와 ‘뒤치닥거리’의 좌표를 서로 멀리 떨어진 곳에 위치시켜 두 단어가 전혀 다른 단어로 처리하고 있다는 뜻이다. 이는 챗지피티가 텍스트를 학습하는 과정에서 해당 단어를 학습하지 못하였거나, 텍스트 전체에서 해당 단어가 출현하는 빈도가 매우 낮았기 때문에 일어나는 문제이다.

 하지만 인공지능이 매번 인간이 생산하는 텍스트를 학습하기는 어렵다. 언어는 시간에 따라 생성 및 소멸하는 ‘역사성’과 무한히 많은 텍스트를 생산할 수 있는 ‘창조성’을 지니고 있기 때문이다. 이는 자연스러운 언어의 현상 중 하나로, 신조어가 탄생하기도 하고, 또 사용되던 어휘가 사라지는 이유이기도 하다. 인간은 언어 습득 과정에서 체득한 언어의 구조 지식과 실제 세상에 대한 경험적 지식으로 언어의 자연스러운 흐름을 따라갈 수 있지만 인공지능에게 이는 매우 어려운 일이다. 그러므로 인간과 같은 유연성으로 자연스러운 언어 현상을 쫓는 인공지능 개발을 위해서 OOV 문제를 해결하는 일은 매우 중요하다. 그렇다면 OOV 문제를 어떻게 해결할 수 있을까? 여러 방법이 있지만, 그중 언어의 구조 지식을 반영한 방법에 대해 알아보도록 하겠다.

Out-of-Vocabulary 문제 해결

 OOV를 처리하는 기술 중 하나로, 단어를 구성하는 하위 단어(sub-word)의 구조 지식을 활용하는 방법이 있다. 바로 하위 단어(sub-word)의 n-gram 추출을 이용하는 것이다. 예를 들어 ‘고려대학교’를 2-gram으로 분해하면 ‘고려’, ‘려대’, ‘대학’, ‘학교’라는 네 개의 n-gram이 만들어진다. 그런 다음, 분해한 각 n-gram의 벡터 표현을 따로 학습하여 ‘고려대학교’라는 단어에 대한 벡터 표현을 얻을 수 있다. 이러한 방법을 이용하면 인공지능이 학습 과정에서 ‘고려대학교’라는 단어를 학습한 적이 없어도, 다른 단어들에서 추출된‘고려’, ‘려대’, ‘대학’, ‘학교’ 등의 n-gram 벡터를 바탕으로‘고려대학교’에 대한 벡터를 생성할 수 있게 된다. 이러한 기술은 문자를 같은 선상에서 이어 쓰는 알파벳을 문자로 쓰는 언어에 최적화된 기술이다[1]. 그러나 이 기술을 한국어에 그대로 적용하기에는 개선의 여지가 있다. 왜냐하면, 한국어는 알파벳과 같이 자음과 모음을 같은 선상에 쓰지 않고, 모아쓰기를 통해 음절 단위로 표기하기 때문이다. 이러한 이유로 한글 음절을 자모로 풀어서 문자열을 얻은 다음, 그 문자열에 대한 n-gram을 추출하는 기술이 소개되기도 하였다[7]. ‘학교’라는 2음절 단어를‘ㅎㅏㄱㄱㅛ’와 같이 자모 단위로 펼쳐서 ‘ㅎㅏㄱㄱㅛ’에 대한 n-gram을 추출하는 것이다. 해당 연구에서는 한글의 자모를 가장 작은 하위 단어로 규정짓고, 자모 문자열에서 n-gram 추출을 한다. 그런데 정말 한글의 최소 단위는 자모일까?

한글 창제원리를 적용한 연구 사례   

 한글은 고유한 창제원리를 가진 문자로, 『훈민정음』을 살펴보면 한글을 구성하는 최소 단위는 자모가 아닌 ‘기본자’라고 할 수 있다. 기본자 여덟 자 (ㄱ, ㄴ, ㅁ, ㅅ, ㅇ, ㆍ, ㅡ, ㅣ)의 조합 혹은 확장으로 자음과 모음이 형성되기 때문이다. 한글의 단어는 기본자에서 확장된 자모가 초·중·종성 체계에 따라 음절을 이루고, 음절이 다시 단어를 이루는 계층적 구조를 가진다. 그렇다면 한글 창제원리의 구조적 지식을 단어 의미 표현기술에 적용해 보면 어떨까?

 이러한 언어학적 배경을 근간으로 필자는 한글 창제원리를 반영한 단어 의미 표현기술을 제안하였다[3]. 기존의 자모 단위가 아닌, 기본자 단위의 n-gram 추출을 통해 한국어 텍스트에서 단어의 의미 표현을 얻는 방법이다. 구체적으로 ‘학교’를 ‘ㅇ=ㅣㆍㄱㆍㆍㅡ’와 같이 기본자 단위로 풀어서 n-gram 추출을 하는 것이다. 예를 들어 ‘학교’를 기본자 단위로 분해한 문자열의 3-gram은 ‘ㅇ=ㅣ’, ‘=ㅣㆍ’, ‘ㅣㆍㄱ’, ‘ㆍㄱㆍ’, ‘ㄱㆍㆍ’, ‘ㆍㆍㅡ’이 된다. 이와 같이 한글 단어를 분해하여 n-gram을 추출하면, 새로운 어휘나 복잡한 단어의 벡터 표현을 얻기 위해 더 많은 n-gram 조합을 활용할 수 있다. 해당 방법은 실험 평가에서도 자모나 음절 단위보다 더 우수한 성능을 보였다. 언어학적 지식을 반영한 자연어처리 기술의 효과를 실험적으로 증명한 것이다.

마무리

 스탠포드 대학교의 Christoper D. Manning 교수는 NAACL 2022 연사 초청 강연[2]에서 언어학에서 출발한 아이디어는 미래 인공지능의 중심이라고 말했다. 같은 강연에서 워싱턴 대학교 언어학과 Emile M. Bender 교수 역시 언어학적 지식을 적용한 NLP 연구의 중요성을 언급하였다. 언어학은 언어 자체를 넘어 인간의 역사와 문화, 사고를 탐구하는 학문이다. 개인 간의 지능이 연결될 때 강력한 힘을 발휘하는 언어처럼, 인공지능 역시 인간의 지능과 융합될 때 더욱 강력한 도구로써 우리와 함께할 것이다.

 인간은 도구와 함께 성장했고 도구와 함께 발전했다. 인공지능은 인간 역사를 기록하고 또 역사에 기록될 도구로써 우리와 함께할 것이다. 인공지능을 인간을 위협하는 도구로 바라보기보다 적극적으로 그 도구를 활용한다면, 인간은 또 한 번 스스로 그 지능의 한계를 넘어설 것이다. 인공지능과 협업하는 미래에 인간은 또 어떤 발전을 이루어 낼까? 인공지능과 초연결될 내일을 기대하면 흥미롭지 않을 수 없다. 그러한 내일이 하루빨리 오길 기대하며 오늘의 원고를 마무리한다.

*제목은 ChatGPT에게 원고를 보여주고 생성하도록 하였음.

<참고 문헌>

[1] Bojanowski, Piotr, et al. “Enriching word vectors with subword information.” Transactions of the association for computational linguistics 5 (2017).

[2] Emile M. Bender, Dilek Hakkani-Tür, Chitta Baral, Manning, Christopher D, “The Place of Linguistics and Symbolic Structures.” Keynotes, North American Association for Computational Linguistics 2022, 시애틀, 미국, 2022년 7월 13일.

[3] Kim, Nayeon, et al. “Break it Down into BTS: Basic, Tiniest Subword Units for Korean.” Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. 2022.

[4] Manning, Christopher D. “Human language understanding & reasoning.” Daedalus 151.2 (2022): 127-138.

[5] Mikolov, Tomas, et al. “Distributed representations of words and phrases and their compositionality.” Advances in neural information processing systems 26 (2013).

[6] Mikolov, Tomas, et al. “Efficient Estimation of Word Representations in Vector Space.” arXiv preprint arXiv:1301.3781 (2013).

[7] Park, Sungjoon, et al. “Subword-level word vector representations for Korean.” Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2018.