[IT Big Trend] ChatGPT, 특이점의 출현인가?
말하는(Chat) AI모델 이름(GPT)
OpenAI란 회사가 만든 대형언어모델(GPT) 3.5 기반의 AI 챗봇으로
추가질문에 대한 응답, 실수 인정, 전제에 대한 의견,
부적절한 요청 거부 등 자연스러운 대화가 가능한 챗봇임
바로 이 "자연어 기반의 대화(소통)"이 핵심인데,
사물과 사물, 인간과 인간 등을 연결하는 상호작용을 뜻하는
인터페이스가 인간-인간 수준으로 올라왔다는 의미임.
어떻게 생겨먹은 AI모델인가
GPT1~3까지 데이터, 파마리터의 스케일이 커지면서 발전했는데,
거짓정보, 비윤리적 정보, 잘못된 정보 같은 결과도 나오는 문제가 있었음
특히, 잘못된 학습을 할수록 잘못된 정보를 생산하는 빈도도 함께 증가함
이를 해결하기 위해 GPT3에서는 InstructGPT란,
생성한 텍스트가 옳은지 아닌지 판단하도록 사람이 가르친 모델을 출시함
Step1. 라벨링 도울 크라우드워커 고용해, GPT에 질문을 하며 올바른 답변 요구
*1만쌍의 답변데이터를 확보하고, Fine-tuning실시
Step2. GPT 결과물에 크라우드 워커가 점수, 선위 부여하여 좋은 답변 알려주고,
이를 근거로 답변점수를 예측하는 RLHF모델 제작
Step3. 파인튜닝 데이터와 RLHF를 결합해 GPT가 강화학습하는데,
제시된 텍스트에게 가장 좋은 답변 텍스트를 예상하고, 이를 피드백해 순위를 매김,
이를 다시 또 파인튜닝하면서 GPT가 스스로 업데이트하고 반복, 강화됨
(제시 → 예상 → 생성 → 제시 → 예상 → 생성) Cycle을 반복함
텍스트를 받으면 텍스트를 뱉어내는 Text to Text
생성 모델(Generative AI), Chat GPT
ChatGPT는 뭐가 다른가?
- 입력받은 대화내용을 바탕으로 이전 대화내용을 참조하여 답변 생성하므로,
"컨택스트(맥락)에 대한 이해력"이 뛰어남
*현재 대화에서 3000개 정도 단어를 기억함
- 민감한 주제로 대화할 경우 답변을 회피하거나 거부함(불법 행위는 불법이라 알람)
- 이미 훈련(학습)을 마친 상태로 사용(대화)하면서 쌓은 결과를 학습하지 않음,
사용할 수록 똑똑해지는 AI라기보다,
인터넷 상의 다양한 콘텐츠를 활용해 광범위한 정보를 이해하고, 표현할 수 있는 것
아직까지 뭐가 한계인가?
1) 데이터 의존도가 너무 높다
- 기 학습된 데이터에 의존하기 때문에, 새로운 주제 or 특정 용어에 대한 출력은 제한됨
*21년 이후 벌어진 사건 or 지식에 대한 한계 有
2) 문맥 이해력이 아직...
이전 대화 내용 or 상황에 대한 정보가 없을 경우, 적절한 답을 못낼 수 있으며,
마땅한 데이터가 기 학습 데이터에 없으면 이해력이 부족해짐
3) 특정 분야에 대한 정보 부족 or 편향