[Basic Term] #1. 데이터 ②

Auto ML, 데이터 분석 자동화

ML파이프라인에서 발생하는 많은 수작업과

반복작업을 자동화하는 프로세스

→  코딩, 알고르즘 선택, 튜닝작업을 자동화

 

*Machine Learning

과거 데이터 기반으로 알고리즘

스스로 데이터 패턴을 학습하는 기술로

모델 정확도를 높이기 위한
"알고리즘 선택+ 하이퍼 파라미터 튜닝"을

반복적으로 수행하는 Burden 존재

 ▼  ▼  ▼  ▼  ▼  ▼  ▼  ▼  ▼  ▼ 

유의미한 변수(Feature)를 자동으로

추출하여 사용하는 Feature Engineering으로 확대,

모델링 전체 과정이 자동화되는 단계까지 발전함

 

AutoML을 활용할 경우, 전문지식 없이도

마우스 클릭 몇번으로 손쉽게 ML 활용이 가능하며,

데이터 사이언티스트의 모델구현시간이 단축되고

반복 수작업이 제거되어 모델 품질/정확도가 상승함

 

대표 예시

H2O Driverless AI - 모델링 프로세스 전체를 자동화

출처 : 당사

*그외 오픈소스 라이브러리 형태로 제공되는

AutoML프레임워크도 있으나, 활용하기 위해서는

전문적인 지식과 코딩 능력이 필요함

 

MLOps, Machine Learning Operations

ML + DevOps 조합한 용어로서,

- Biz 변환에 민첩하게 대응하고, 운영환경을

 안정적으로 유지하기 위한 기반인 DevOps

- 이런 기반위에 ML모델 특성이 반영되어야 하고

- ML 에 필요한 학습, 추론 데이터 수집/저장/처리를 

  위해 데이터 엔지니어링이 연관되어 있음

 

소스코드와 데이터가 결합된 점이 특성인데,

학습데이터에 따라 운영환경에서의 결과가 달라지며,

실제 운영환경에서 어떤 결과가 나올지 예측하기 힘듦

: 운영환경에서 발생하는 실제 세계 데이타가 끊임없이 변화해

  이 변화에 대응해야 하는 것이 ML Ops의 미션임

 

ML라이프사이클을 안정적으로 운영하는 것이 핵심

: 데이터 수집, 데이터 처리, 피처 엔지니어링, 데이터 라벨링,

  모델 학습 및 최적화, 모델 배포, 모델 모니터링 etc

 

전통적인 R&R(SW엔지니어, DevOps엔지니어) 외

데이터 사이언티스트, 머신러닝 엔지니어 등 추가적으로 필요

 

데이터 시각화, Data Visualization

데이터 분석결과를 쉽게 이해하도록 시각적으로 표현 및 전달하는 과정

- 대량 데이터에 대한 Interactive한 시각화표현

  ▷ 쉽고 직관적으로 데이터 탐색, 패턴 탐지, 가설검증 가능

       (통계적 시각화보다, 인터랙티브한 시각화에 적합한 기술 多)

 

파이썬, R 등의 오픈소스 시각화분석이 가장 많이 사용됨

#ggplot2(예시) - R의 데이터 시각화소스

#matplotlim(예시), seabon - 파이썬 라이브러리 

#Spotfire(예시), QlikView, Tableau