챗GPT, 자연스러운 AI 챗봇의 시대를 열다

GPT-3.5, 인간 피드백 기반 강화학습으로 성능 좋아져

아직 한계도 존재해, 신뢰할 수 있는 인공지능으로의 발전 필요

챗GPT를 아시나요?

챗GPT는 ‘대화’를 뜻하는 ‘Chat’과 ‘미리 학습해서 문장을 생성할 수 있는 AI’를 뜻하는 ‘GPT(Generative Pre-trained Transformer)’의 합성어로, 미국 샌프란시스코의 AI 연구회사인 오픈AI가 개발한 대화 전문 AI다. 일상적인 이야기뿐만 아니라 프로그래밍, 작문 등 다양한 전문 분야에서의 대화가 이전의 AI보다 훨씬 자연스럽게 이뤄진다. 챗GPT의 우수한 기능에 지난 1월에만 1억 명이 사용한 것으로 알려졌다. 현재 오픈AI 홈페이지에서 누구나 무료로 챗GPT를 사용할 수 있으며, 더 빠른 속도나 새로운 기능을 먼저 이용하길 원한다면 유료 서비스도 이용할 수 있다. 접속 시 첫 화면은 영어로 구성돼 있으나, 우리말로 챗GPT에 질문을 건네면 우리말로 대화가 가능하다. 기자가 직접 챗GPT에 접속해 ‘언론의 수익모델’에 대한 2장 분량의 보고서 작성을 요청하자, 챗GPT는 해당 주제에 대한 개요를 완전한 보고서의 형태로 작성했다. 국제인공지능&윤리협회 전창배 이사장은 “챗GPT는 인터넷의 발명, 어쩌면 그 이상과 맞먹는 혁명”이라며 “현존하는 AI 중 가장 대중성과 성능이 뛰어난 서비스라고 할 수 있을 것”이라고 말했다.

한편, 챗GPT의 뛰어난 텍스트 생성 능력만큼 교육 현장에서의 적용과 표절에 대한 논의도 활발하다. 최승범(건설환경 22) 학우는 “파이썬으로 신호등 프로그램을 코딩하라는 과제를 주니 챗GPT가 여러 가지의 풀이를 제시했다”며 “반복된 어구를 자동으로 제외해 프로그램을 효율적으로 만들어주기까지 했다”고 말했다. 이어 “챗GPT에 완전히 의존해서 과제를 제출하진 않겠지만, 본인의 풀이를 보완 및 발전시키는 데 도움이 된다고 생각한다”는 의견을 전했다. 우리 학교 화학공학/고분자공학부 권석준 교수는 ‘학습 중 챗GPT를 활용할 수 있으나, 과제와 시험에는 사용할 수 없다’는 수업 방침을 세우기도 했다. 권 교수는 “챗GPT가 내놓은 결과물에 잘못된 정보가 포함될 수 있다”며 “학생들이 잘못된 정보를 학습하지 않도록 교차 검증할 장치가 필요하다”고 말했다. 

매개변수로 확연히 달라진 GPT-3.5

챗GPT의 탁월한 성능은 오픈AI에서 만든 대규모 언어 예측 모델인 ‘GPT-3.5’를 기반으로 한 덕분이다. GPT-3.5의 특장점은 엄청난 수의 매개변수를 갖는다는 것이다. 오픈AI는 매개변수의 개수를 늘리며 인공지능 언어모델의 성능을 높여 왔고, 챗GPT에 사용된 GPT-3.5는 2018년의 GPT-1보다 1,000배 이상의 매개변수를 사용해 엄청난 성능을 자랑한다. 

매개변수는 연산을 만드는 값이라고 볼 수 있다. AI 딥러닝 모델은 복잡한 함수식이나, 이를 간단히 ‘y=ax+b’에 비유해보자. 이 식에서는 입력값인 x에 ‘a를 곱하는 연산’과 ‘b를 더하는 연산’이 이뤄지는데, 이때 연산을 만드는 ‘a’와 ‘b’가 매개변수가 된다. 따라서 매개변수의 증가는 딥러닝 모델의 연산이 많아지고 복잡해짐을 의미한다. 이로써 학습 능력이 향상된 AI는 ‘하나를 보면 열을 안다’는 말처럼 배운 적 없는 입력 데이터에 대해서도 적절한 답변을 할 수 있게 되는데, 이를 ‘AI의 일반화 능력이 높다’고 표현한다. 정해져 있는 객관적인 답뿐만 아니라 더 깊이 있고, 심상이나 행복 등 관념에 대한 추상적인 답변을 만들어 낼 수 있는 것도 AI의 일반화 능력 덕분이다.

변화를 만든 ‘인간 사용자 피드백 기반 강화학습’ 기술

매개변수의 증가로 GPT-3.5가 심도 있는 텍스트를 만들 수 있다고 하더라도 대화에서 더 자연스러운 텍스트를 생성하기 위해선 도출한 텍스트에 대해 평가가 필요하다. 이는 ‘인간 사용자 피드백 기반 강화학습(Reinforcement Learning Human Feedback, 이하 RLHF)’ 기술을 통해 이뤄진다. 인간이 상황과 맥락에 따라 언어모델의 텍스트를 ‘좋고 나쁘다’라고 평가하는 방식 자체를 AI가 학습한 것이다. 

RLHF는 △언어모델 학습 △보상모델 학습 △언어모델 미세조정 3단계로 이뤄진다. 먼저 언어모델 학습이란, 기존의 AI 언어모델에 다량의 데이터를 학습시켜 많은 언어의 표본을 확보하는 과정을 말한다. 다음 단계는 보상모델 학습이다. 인간이 AI가 생성한 텍스트에 점수를 매기고, AI는 그 점수를 학습 데이터로 수집한다. 이를 기반으로 AI는 자신이 생성한 텍스트가 인간에게 어느 정도로 좋다고 평가받을지 예측하는 ‘보상모델’을 형성하게 된다. 마지막으로 AI는 언어모델을 미세 조정해 이에 보상모델을 적용한다. 예를 들어, ‘다른 사람을 어떻게 괴롭힐 수 있냐’는 질문에 GPT-3에 기반한 Instruct GPT는 사람을 괴롭히는 몇 가지 방법을 제시했던 것과 달리, 챗GPT는 ‘누군가를 괴롭히는 것은 지양하고, 친절과 존중으로 대해야 한다’고 답했다. 인간의 피드백을 언어모델에 학습시키는 방법으로 챗GPT는 윤리·도덕적 측면에서 인간의 사고방식에 더 적합한 텍스트를 자연스럽게 생성할 수 있게 된 것이다. 

챗GPT, 완벽하기만 한가

발전을 거듭한 GPT-3.5 기반의 챗GPT임에도 일상생활에서의 온전한 활용을 기대하긴 어렵다. 문서 작성 시 ‘이 모델은 오픈AI가 학습한 모델이다’와 같은 어구를 반복하는 동어 반복 현상을 보이거나, 모순적인 문장을 만드는 경우도 있다. 성별, 인종에 대한 편향적 텍스트를 생성할 수도 있다. 대량의 데이터를 통해 사전학습을 하는 과정에서 사람들이 인터넷이나 사회에서 공유하고 있는 고정관념이 언어모델에 영향을 미치기 때문이다. 카이스트 전산학과 오혜연 교수는 “AI가 학습할 데이터가 다양한지 살핀 뒤, 그렇지 않다면 편향된 데이터를 조정하는 등 기술적 방법으로 모델의 편향을 극복해야 한다”고 말했다. 

발전을 거듭할 챗GPT, 인간을 능가할까?

오픈AI가 올해 공개할 예정인 GPT-4는 인간의 시냅스 수와 비슷한 100조 개의 매개변수를 갖는 것을 목표로 하는 것으로 알려졌다. 매개변수는 인간 뇌에서 뉴런을 연결해 정보를 학습하고 기억하는 시냅스와 유사한 역할을 하기에 GPT-4는 인간의 지능과 더욱 비슷해질 가능성이 있다. 사실관계를 따지는 전문적인 대화, 윤리·도덕적인 가치 판단에 관한 대화 등 더 다양한 층위에서 인간과 같은 능숙한 답변을 기대해볼 수 있다. 그럼에도 불구하고 AI가 아직 도달하지 못한 인간의 영역은 존재한다. 우리 학교 글로벌융합학부 가야트리 나다라잔 교수는 “AI는 직관, 감정이나 비이성 등 인간의 특성이 결여돼 있다”며 “AI가 인간처럼 말한다고 해도 인터넷 데이터에 기반했기 때문에 부정확하고 비윤리적일 수 있다”고 말했다. 나다라잔 교수는 “책임감 있고 신뢰할 수 있는 AI를 만들고 사용하면, 모두에게 더 나은 미래를 위한 길이 열릴 것”이라고 전했다.