자동화된 머신 러닝(AutoML)은 최근 몇 년 동안 산업 및 학계의 인공 지능(AI) 연구에서 트렌디한 주제가 되었습니다. AutoML은 규제 산업에서 설명 가능하고 재현 가능한 결과를 제공하는 데 AI 솔루션을 제공한다는 유망한 전망을 제시하고 있습니다. AutoML을 통해 현재 데이터 사이언스에서 역할을 수행하는 데 필요한 이론적 배경이 없는 사람들도 AI 개발에 더 효과적으로 접근할 수 있습니다.
데이터 처리, 특성 가공, 하이퍼파라미터 최적화와 같은 현재의 원형적 데이터 사이언스 파이프라인의 모든 단계를 머신 러닝 전문가가 수작업으로 수행해야 합니다. 이에 비해 AutoML을 도입하면 더 단순한 개발 프로세스를 지원할 수 있습니다. 이 프로세스에 따라 코드 몇 줄로 머신 러닝 모델을 개발하는 데 필요한 코드를 생성할 수 있습니다.
식별자를 구축하거나 회귀를 훈련하든 상관없이, AutoML을 ML 파이프라인의 각 구성요소에 대한 최적의 솔루션을 찾기 위한 전문화된 검색 알고리즘이 있는 일반화된 검색 개념으로 생각하는 사람도 있을 수 있습니다. 특성 가공, 하이퍼파라미터 최적화, 신경망 아키텍처 검색이라는 자동화의 단 세 가지 핵심 구성 요소를 자동화하도록 지원하는 시스템을 구축하는 활동에서 AutoML은 머신 러닝의 민주화가 현실이 되는 미래를 약속합니다.
파운데이션 및 머신 러닝 모델을 쉽게 훈련, 검증, 조정 및 배치하기
데이터 사이언스 파이프라인에는 예측 모델을 구축하기 위해 데이터 사이언스 팀이 밟아야 하는 여러 가지 단계가 있습니다. 숙련된 데이터 과학자와 ML 엔지니어로 구성된 팀에서도 AutoML이 제공하는 향상된 속도와 투명성을 유용하게 활용할 수 있습니다. 데이터 과학자는 가설에서 시작하여 올바른 데이터 세트를 수집하고, 데이터 시각화를 시도하며, 모든 이용 가능한 신호를 활용하기 위해 추가 특성을 엔지니어링하고, 하이퍼파라미터(IBM 외부 링크)로 모델을 훈련시키고, (사용 가능하다면 GPU에서) 첨단 딥 러닝을 위해 심층 신경망을 위한 최적의 아키텍처를 설계해야 합니다.
자동화된 특성 가공
데이터의 특성은 머신 러닝 모델을 위한 입력 데이터의 일부이며, 특성 가공은 데이터 과학자가 기존 데이터에서 새 정보를 도출하는 변환 프로세스를 말합니다. 특성 가공은 ML 워크플로우에서 핵심적인 가치 추가 프로세스 중 하나이며, 좋은 특성은 허용 가능한 성능을 구현하는 모델과 뛰어난 성능을 구현하는 모델을 판가름합니다. 원시 데이터를 이처럼 수학적으로 변환한 결과를 읽어 모델에 반영하며, 이러한 결과는 머신 러닝 프로세스의 핵심 요소 역할을 수행합니다. 자동화된 특성 가공(PDF 1.7MB)(automated feature engineering, AFE)(IBM 외부 링크)은 수동적인 방식이 아니라 기계적 방식으로 특성의 실현 가능한 조합들의 공간을 탐색하는 프로세스입니다.
수동 특성 가공은 시간적인 측면에서 많은 비용을 초래하는 현대의 연금술입니다. 하나의 특성을 구축하는 데 종종 몇 시간이 걸릴 수 있으며, 프로덕션 수준의 정확도 기준은 말할 것도 없고 가까스로 최소의 정확도 점수를 얻는 데 필요한 특성이 수백 개에 달할 수 있습니다. AutoML은 특성 공간(feature space)의 탐색을 자동화하여 데이터 사이언스 팀이 이 단계에서 사용하는 시간을 며칠에서 몇 분으로 단축합니다.
데이터 과학자가 수동 개입에 사용하는 몇 시간을 줄이는 것은 자동화된 특성 가공에만 좋은 이점이 아닙니다. 생성된 특성은 종종 명확하게 해석 가능합니다. 의료 및 금융과 같은 규제가 엄격하게 적용되는 산업에서는 이러한 설명 가능성이 중요합니다. 왜냐하면 설명 가능성은 해석 가능성을 통해 AI 도입을 막는 장벽을 낮추기 때문입니다. 또한, 데이터 과학자 또는 분석가는 이러한 특징의 분명함을 유용하게 활용할 수 있습니다. 고품질 모델의 설득력과 활용 가능성을 높일 수 있기 떄문입니다. 자동으로 생성된 특성을 통해 조직이 모니터링하고 활용 가능한 새로운 KPI를 찾을 수 있습니다. 데이터 과학자는 특성 가공을 마친 후 전략적으로 특성을 선택하여 모델을 최적화해야 합니다.
자동화된 하이퍼파라미터 최적화
하이퍼파라미터는 머신 러닝 알고리즘의 일부로, 모델 성능을 미세 조정하는 레버에 비유하면 가장 이해하기 쉽습니다. 물론 단계적 조정이 너무 큰 영향을 주는 경우가 많기는 합니다. 소규모 데이터 사이언스 모델링에서 하이퍼파라미터는 수작업으로 쉽게 설정할 수 있고 시행착오를 거쳐 최적화할 수 있습니다.
딥 러닝 애플리케이션의 경우 하이퍼파라미터의 수가 기하급수적으로 증가합니다. 그래서 수동으로 적시에 이를 최적화하는 일은 데이터 사이언스 팀의 능력 범위를 벗어난다고 할 수 있습니다. 자동화된 하이퍼파라미터 최적화(hyperparameter optimization, HPO)(IBM 외부 링크)는 데이터 사이언스 팀에게서 하이퍼파라미터를 위한 전체 이벤트 공간에 걸쳐 탐색과 최적화를 수행해야 하는 막중한 책임을 덜어주고 대신 팀이 특성과 모델에 대해 반복 및 실험을 수행할 수 있도록 지원합니다.
머신 러닝 프로세스 자동화의 또 다른 장점은 데이터 과학자가 모델 생성의 방법보다 이유에 집중할 수 있다는 것입니다.많은 기업들에 제공되는 극도로 방대한 양의 데이터와 이러한 데이터로 답변할 수 있는 압도적으로 많은 수의 질문들을 고려할 때, 분석 팀은 최적화가 필요한 모델의 측면에 관심을 기울일 수 있습니다. 그 예로는 의료 검사에서 위음성 결과를 최소화해야 하는 기존의 문제가 있습니다.
NAS(Neural Architecture Search)
딥 러닝에서 가장 복잡하고 시간이 많이 드는 프로세스는 신경망 아키텍처 생성입니다. 데이터 사이언스 팀은 적절한 레이어와 학습 속도를 선택하는 데 긴 시간을 사용합니다. 이러한 레이어와 학습 속도는 결국 많은 언어 모델에서 그렇듯이 가중치만을 위한 것인 경우가 많습니다. 신경망 아키텍처 조사(neural architecture search, NAS)(IBM 외부 링크)는 "신경망을 사용하여 신경망을 설계하는 것"으로 묘사되어 왔으며, 자동화를 유용하게 활용할 수 있는 가장 명백한 ML의 분야 중 하나입니다.
NAS 조사는 시도할 아키텍처를 선택하는 것에서부터 시작됩니다. NAS의 결과는 각 아키텍처를 판단하는 지표에 따라 결정됩니다. 신경망 아키텍처 조사에서 사용할 수 있는 일반적인 알고리즘은 여러 가지가 있습니다. 잠재적인 아키텍처의 수가 적으면 테스트를 위한 선택을 무작위로 수행할 수 있습니다. 별개의 조사 공간(search space)이 연속적으로 표현되는 경사 기반 접근법(gradient-based approach)은 매우 효과적인 것으로 나타났습니다. 데이터 사이언스 팀은 아키텍처가 무작위로 평가되고 변경 사항이 천천히 적용되어 더 성공적인 하위 아키텍처를 전파시키고 그렇지 않은 하위 아키텍처를 프루닝하는 진화 알고리즘을 시도해 볼 수도 있습니다.
신경망 아키텍처 조사는 AI의 민주화를 약속하는 AutoML의 핵심 요소 중 하나입니다. 하지만 이러한 조사는 매우 큰 탄소발자국을 유발하는 경우가 많습니다. 이러한 장점과 단점을 비교하는 조사는 아직 이루어지지 않았으며, 생태학적 비용에 대한 최적화는 NAS 접근법에서 지속적으로 조사가 이루어지고 있는 분야입니다.
데이터 과학
머신 러닝
AutoAI
자동화된 머신 러닝은 조직이 값비싼 데이터 과학자를 교체하기 위해 사용할 수 있는 기술 해결지상주의에 바탕을 둔 만병통치약처럼 들립니다. 그러나 실제로 AutoML을 활용하려면 조직은 지능적 전략을 수립해야 합니다. 데이터 과학자는 실험을 설계하고, 결과를 비즈니스 성과로 전환하고, 머신 러닝 모델의 라이프사이클 전체를 관리하는 데 필수적인 역할을 수행합니다. 그러면 교차 기능(cross-functional) 팀이 AutoML을 활용하여 시간 사용 방식을 최적화하고 모델의 가치 실현 시간을 단축하려면 어떻게 해야 할까요?
AutoML API를 포함하기 위한 최적의 워크플로우는 이를 사용하여 워크로드를 병렬화하고 수작업을 많이 요구하는 작업에 사용하는 시간을 줄여야 합니다. 데이터 과학자는 하이퍼파라미터 튜닝에 며칠을 보내는 대신, 동시에 여러 유형의 모델에 대해 이 프로세스를 자동화한 다음 후속 조치로 성능이 가장 뛰어난 모델을 테스트할 수 있습니다.
또한, AutoML의 특성 덕분에 다양한 수준의 기술을 보유한 팀원이 데이터 사이언스 파이프라인에 기여할 수 있습니다. Python에 대한 전문 지식이 있는 데이터 분석가는 Watson Studio에서 AutoAI와 같은 툴키트를 활용하여 쿼리를 통해 자신이 직접 추출할 수 있는 데이터로 예측 모델을 훈련시킬 수 있습니다. AutoML을 사용하면 이제 데이터 분석가는 데이터 사이언스 팀 전체가 관여하지 않아도 데이터를 처리하고, 머신 러닝 파이프라인을 구축하고, 자신의 가설을 입증하는 데 사용할 수 있는 완전히 훈련된 모델을 생성할 수 있습니다.
IBM 연구원과 개발자는 AutoML의 발전과 성장에 기여합니다. IBM Watson 기반 AutoAI를 활용한 지속적인 제품 개발과 오픈소스 자동화 데이터 사이언스 라이브러리인 Lale(IBM 외부 링크)에서 IBM 연구원들이 수행하는 작업은 IBM이 차세대 AI 접근법을 만드는 데 도움이 되는 몇 가지 방법에 불과합니다. Lale은 오픈 소스 프로젝트이지만 사실 AutoAI의 여러 기능에서 핵심적인 역할을 수행합니다.
ML 스택의 핵심 요소로 Python을 사용하는 데이터 사이언스 팀을 위해 Lale은 scikit-learn(IBM 외부 링크) 파이프라인 내에서 원활하게 통합되는 반자동화 라이브러리를 제공합니다. scikit-learn은 auto-sklearn(IBM 외부 링크) 또는 TPOT(IBM 외부 링크)과 같은 라이브러리와는 다릅니다. Lale은 자동화, 정확성 확인, 상호 운용성을 제공하므로 scikit-learn을 뛰어넘습니다. Lale은 scikit-learn 패러다임에 기초하고 있지만, 다른 Python 라이브러리 및 Java 및 R과 같은 언어로 된 라이브러리의 트랜스포머(transformer)와 오퍼레이터(operator)를 점점 더 많이 사용하고 있습니다.