[Skill-set] Prompt Engineering 상식

 

생성형 AI vs 클래식 AI

클래식 AI	생성형 AI
제한된 데이터셋에서 패턴인식	방대한 데이터셋의 복잡한 패턴은 인식함
새로운 데이터 대상으로 예측수행	유사한 새로운 데이터를 생성함

 

LLM

방대한 양의 텍스트를 (슈퍼컴퓨터로) 학습하고,

특정 목적에 맞게 조정함 aka Fine tunning

 

Chat 대화 - Generateive 생성형 - Pretrained 사전학습 - Transfomer 자연어처리 모델

Copus, 말뭉치 - 모델이 학습하는 대상인 대규모 텍스트 데이터 집합

 

LLM 한계 : 오래된 지식, 행동 불가능, 맥락 부족, 환각, 편향, 낮은 투명성 등

 

RAG, 검색 증강 생성

LLM 출력을 최적화하여 응답을 생성하기 전에

학습데이터 외부 소스의 신뢰할 수 있는 지식 Base를 참조하도록 하는 프로세싱

 

Vector

이미지, 문서, 영상 등 구조화되지 않은 데이터를 인코딩한 결과로 나온 여러값을

순서대로 나열한 데이터 구조

>> 해당 데이터의 특징을 포착하는데 필요한 "차원", "의미론적 내용"

 

Vector DB

데이터 유형에 따라 여러 유형의 거리 측정법으로 벡터 유사성 검색에 사용

*기업 내부정보를 LLM에 연결하고, 실시간으로 소싱(Input으로 활용)

 

Langchain, 랭체인

대규모 언어모델을 기반으로 한 애플리케이션 구축을 위한 오픈소스 프레임워크

- 체인 구성, 모듈호, 확장성 등이 대표적인 이점임

- 특정 모델 혹은 API에 종속되지 않음

- 데이터 전처리, 모델 호출, 후처리 등에 유리함

- RAG 지원하여 일관된 상호작용이 가능함

 

대표 모듈

- Model I/O : 언어모델과 상호작용 처리, 멀티모달을 언어모델에 적용

- Retrival : 언어모델에 여러 소스에서 선별된 데이터를 제공해 정보를 찾고 변환함 *여러소스 = 벡터DB, 검색엔진, 문서저장소 등

- Memory : 과거 대화를 기억해서 맥락을 유지하고, 일관되고 유의미한 응답을 지원함

- Chain : 복잡한 (여러 단계의) 작업흐름을 조율 및 자동화

- Agent : 언어모델 호추 뢰에 그 이상의 외부와 상호작용을 처리함 *다양한 Tool, Agent 구현

- Call back : 코드 수행중 발생하는 이벤트를 추적관리함, 체인 실행을 모니터링하고 성능최적화함

 

Copilot

- MS의 디지털 어시스턴트

- 일정, 채팅, 메일, 파일 등을 데이터로 차트 생성가능

 

1) For Excel

- 자연어로 질문하여 데이터 분석가능 e.g. 지난 분기 데이터로 예측 모델 분석해줘

- 복잡한 수식을 자동 작성할 수 있음

- 데이터 시각화 유리

 

2) For word

- 문서작성 및 편집 지원

- 톤앤매너에 맞춘 문서 초안 작성

- 문서요약 가능 : 자료 검색 후 문서를 포함시키는 작업 자동화

 

3) For PPT

- ppt 작성 간소화

- 문서변환, 필요 이미지 자동삽입, 슬라이드 자동작성 등

- 디자인 최적화

- 발표 대본, 내용 설명 자동작성

 

4) For Outlook

- 이메일 스레드 요약

- 필요자료 저장 자동화

- 일정관리 자동화

 

5) For Teams

- 팀 협업지원

- 회의요약 / 주요 논의 주제 구성 / 후속 사항 제안

- 채팅 기반 안건 상정