국내 고문헌 수 대비 한글 번역본 디지털화 2% 미만
AI-OCR로 고문헌의 빠른 디지털화 가능해
교육부 산하 기관인 한국고전번역원은 1994년부터 국내 최대 분량의 사료 『승정원일기』를 번역해 왔으나 그 양이 매우 방대해 2062년에 이르러서야 완역될 것으로 보였다. 그러나 2018년 번역 과정에 AI를 도입하며 완역 시점이 30년 이상 앞당겨졌다. 『승정원일기』의 원활한 번역을 위해서는 고문헌의 디지털화가 뒷받침돼야만 한다. AI와 결합한 광학문자인식(Optical Character Recognition, 이하 OCR)은 고문헌의 디지털화에 핵심적인 역할을 하고 있다. AI-OCR이 어떻게 고문헌을 디지털화해 그 가치를 향상하는지 알아보자.
고문헌 디지털화의 가치
우리나라 각 시대의 역사적 이야기를 담고 있는 고문헌은 학문적인 흐름에 큰 영향을 끼치기에 연구될 가치가 크다. 예컨대 신종플루, 코로나19와 같이 열을 동반하는 병을 다루는 온병학은 2000년대 초반까지 많이 알려지지 않았다. 이후 『온병조변』, 『온열경위』 등의 온병학 서적이 새롭게 번역되면서 한의학계에서 온병학은 큰 관심을 끌었다. 우리 학교 한문학과 장유승 교수는 “고문헌은 과거 개인과 사회의 기록”이라며 “고문헌의 번역은 자료의 접근을 쉽게 해 한국학 연구의 수준을 제고하고 연구 분야 또한 다양화한다”고 전했다. 이어 “필요한 정보를 쉽게 찾을 수 있게 하기 위해서 번역서의 디지털화는 매우 중요하다”고 말했다.
고문헌 인식 및 번역의 어려움
고문헌의 디지털화는 그 중요성에 비해 잘 이뤄지지 않고 있다. 2018년 국립중앙도서관이 발표한 「한국 고문헌 관리 중장기 발전 방안 연구」에 따르면 고문헌의 원문을 촬영 또는 스캔한 이미지의 디지털화는 전체 고문헌의 50% 정도밖에 이뤄지지 않았다. 한자 자체를 디지털화한 것은 전체의 5% 미만, 한글 번역본은 2% 미만 수준이었다. 고문헌 속 한자를 인식하기 위해서는 수천만 개에 달하는 한자 데이터가 있어야 하며 필사나 인쇄 과정에서 일부 글자가 변형될 가능성 등의 변수를 모두 고려해야 해 인식 과정이 매우 까다롭기 때문이다. 특히 흘려 쓴 서체인 초서의 경우 특히 인식에 어려움을 겪고 있다. 장 교수는 “고문헌 중에서도 정보를 정제하고 편집한 고서는 대체로 반듯한 글씨지만 현대의 문자 메시지와 비슷한 간찰 등의 고문서는 대부분 필기체인 초서로 쓰였다”며 “글자만이 아니라 문맥에 근거해 글자를 유추해야 하기에 디지털화에 어려움이 있다”고 말했다.
발전하는 고문헌 인식 기술
최근 우리나라 데이터 전문 기업인 누리IDT가 출시한 ‘고문헌 한자 OCR 서비스’가 고문헌의 디지털화를 빠르게 이룰 해결책으로 대두되고 있다. AI 모델과 OCR 기술을 활용한 고문헌 한자 OCR 서비스는 고문헌의 원문 이미지나 손글씨를 입력하면 텍스트로 변환한다. 해당 서비스의 AI 모델은 3천만 자 이상의 한자를 학습했으며 손글씨로 작성된 문헌도 잘 인식한다. 현재 고문헌 한자 OCR 서비스는 평균 인식률 98%를 보이며 고문헌 디지털화 속도를 높이는 데에 도움을 줄 것으로 예상된다. 누리IDT A관계자는 “OCR은 현대어의 경우 이미 상당한 수준으로 발전했으나 고문헌 인식에는 극히 취약하다”며 “번역뿐 아니라 원문의 디지털화만 증대돼도 고문헌 콘텐츠의 활용 가능성이 비약적으로 커진다”고 말했다. 이어 “해당 서비스가 고문헌 자료의 일반 보급과 활용을 획기적으로 도울 수 있을 것”이라고 전했다. 또한 지난해 6월부터 경상북도가 경북대, 한국국학진흥원 등과 협력해 전통 기록물을 자동으로 인식하고 해독하는 인공지능 모델의 개발을 목표로 연구를 이어가고 있다. 한편 고문헌 인식 및 번역 관련 기술의 발전이 해당 분야의 인력을 대체할 수 있다는 우려가 존재한다. 장 교수는 “한자 판독 기술과 한문 번역 기술이 발달하고 있으나 인간의 역할을 대체하기보다 일의 효율을 높여주는 도구로 활용될 것”이라고 전했다.
