챗GPT의 작동원리를 알아야 살아남을 수 있다!
학습하고 예측하는 AI?
[객원 에디터 5기 / 김지연 기자] 챗GPT와 같은 생성형 AI가 급격히 우리들의 삶으로 파고들면서 일하는 방식이나 무언가를 작성하는 방식 또한 변화되고 있다. 어느 순간 AI기술에 의해 직업이 대체될지도 모른다는 불안감을 대부분이 갖게 됐지만, 전문가들은 조금 다른 의견을 가지고 있다. “AI 기술을 잘 활용하는 사람에게는 기회, 사용하지 못하는 사람에게는 위기가 될 것”이라는 공통된 의견이다. 잘 활용할 줄 아는 사람에 앞서 우리는 생성형 AI 기술이 무엇인지부터 정확하게 이해하고 있어야 한다.
챗GPT는 GPT-3.5라고 하는 거대언어모델(LLM)을 기반으로 만들어진 AI 채팅 서비스다. 거대언어모델에서의 ‘모델’이란 중학교 때 배우는 함수, 수학식을 의미한다. 현재 기상상황, 온도, 습도, 위성사진 등의 관측된 자료를 토대로 수학식을 거쳐 미래의 날씨를 예측하는 것이다. 이처럼 거대언어모델 또한 아주 복잡한 함수를 거쳐 결괏값이 나오는 거대한 모델이라고 생각할 수 있다.
그 거대언어모델은 인공신경망이라고 불리기도 하며 입력값이 함수를 거쳐가는 과정인 ‘파라미터’가 존재한다. GPT-3는 1750억 개의 파라미터를 지니고 있고, 이 파라미터들은 함수의 결괏값을 곱하여 또 다른 출력값이 나오도록 돕는다. 같은 방식으로 수많은 파라미터들을 거치고 나면 마지막으로 나오는 출력값이 결과가 되는 것이다. 인공지능은 결괏값을 어디로 넘기는가를 계속 테스트하면서 ‘학습’한다고 볼 수 있다.
이처럼 챗GPT는 크게 두 번의 학습을 통해 만들어진다. 먼저는 챗GPT의 본체 격인 ‘GPT’에 지식을 ‘학습’시키고 그다음에 GPT에게 질문에 답을 하는 행동을 학습시키는 것이다. GPT가 의미하는 ‘Generative Pre-trained Transformer’의 ‘미리 학습’이 바로 특정 행동을 학습시키기 전에 미리 지식만 학습시키는 과정을 거쳤다는 의미이다.
챗GPT의 두 번째 학습이 ‘예측’ 가능하도록 학습된다는 것이다. AI는 ‘안녕하세요’라는 말이 나왔을 때 ‘예’라고 대답을 할지 ‘안녕하세요’라고 대답할지, 그리고 그다음 말은 무엇으로 이어 나갈지를 예측하게 된다. 챗GPT는 인터넷에 있는 수많은 문서들을 공부해 다음 말을 예측할 수 있게 만들어진 모델이다. 긴 학습 통해 얻은 데이터들로 인공지능이 생각하는 결괏값들이 정해지게 되고, AI는 그 결괏값들 안에서 ‘예측’을 하게 된다. 마치 사람이 어떤 이야기를 들었을 때 오랜 세월을 통해서 축척한 경험으로 다음 일을 예측하는 것처럼, 거대언어모델을 1750억 개의 계산들을 거쳐 자신이 말해야 할 것, 그려야 할 그림 등을 학습하고 그 결과물을 보여주는 것이다.
GPT-3은 약 1억 5000개의 단어를 기반으로 만들어졌다고 알려져 있다. 이 말은 GPT가 문제에 대한 답을 낼 때 1억 5000개의 선택지가 있다는 말과 동일하다. 특정 문제에 대한 답을 풀이 중, GPT는 ‘밥을’ 다음에는 ‘먹었다’와 ‘맛있게’ 같은 단어들이 등장할 가능성이 높다는 것을 학습하게 되고, 그 외에 관련된 단어들까지 연결 가능하게 된다. 이 AI는 ‘밥’이 무엇인지, ‘먹었다’가 무엇인지 전혀 알지 못하지만, 이 단어들끼리의 관련성이 높고, 그래서 같은 문장 안에 나타날 가능성이 크다는 것만 알게 된다.
이처럼 아직 AI 아직 따라갈 수 없는 영역들이 분명히 존재한다. ‘꽃’이라는 단어를 듣고 그에 관련된 색감, 향기, 소리, 경험을 떠올릴 수 있는 건 아직 인간의 영역이다. 하지만 컴퓨터로 ‘꽃’에 대해 배우는 우리들 또한 이미지와 키워드 조각들 밖에 기억하지 않는다. 앞으로의 예측불가한 인공지능의 발전에 먼저 ‘학습’하도록 하자.
