Sweepsweep 코랩 링크다양한 하이퍼파라미터를 자동으로 학습하여 시각적인 그래프로 보여준다.하이퍼파라미터를 튜닝하는 모든 알고리즘은 open source로 공개되어있다.Sweep 세팅설치pip3 install wandb wandb loginsweep config 설정yaml 파일로 탐색할 hyperparameters를 지정한다.metric name으로 지정한(아래 예시에서는 validation_loss)는 반드시 학습 코드 내에 wandb.log({’validation_loss’:val_loss}) 형태로 로그되어야 한다.# sweep_sample.yaml program: train.py method: bayes metric: name: validation_loss goal: minimize par..
Weights & Biases란?wandb는 MLOps 플랫폼으로 머신러닝, 딥러닝을 학습하는데 필요한 다양한 기능들을 제공한다. 대표적으로 아래의 기능등을 갖추고 있다.실험관리하이퍼파라미터 튜닝데이터, 모델 버저닝모델 관리데이터 시각화협업 리포트wandb 기초 사용법pytorch를 사용하여 학습하는 환경에서 wandb를 이용해서 필요한 metric의 log를 기록하고, 그래프 형태로 확인하는 것을 먼저 알아본다.코랩 샘플 링크를 통해서 pytorch에서 사용하는 기본적인 wandb 사용법을 익힐 수 있다.W&B 설치wandb.ai 에 접속하여 회원가입하면 API key를 발급받을 수 있다.pip을 통해 wandb를 설치하고 위에서 발급받은 API key로 로그인을 한다.pip3 install wandb..
DVC란?DVC는 data version control의 약자로 데이터의 버전을 관리해주는 툴이다. 딥러닝/머신러닝 분야는 데이터가 핵심이기 때문에 데이터를 잘 관리해줄 필요가 있다. 소스 코드는 git등으로 쉽게 버전을 관리할 수 있지만 데이터는 대용량의 데이터가 대부분이기 때문에 git으로 관리할 수는 없다. 따라서 대용량의 데이터를 git처럼 쉽게 간단한 명령어를 통해 버전을 만들고 쉽게 checkout할수 있으며 원격 저장소에 저장까지 할 수 있게 만들었다.사실 dvc는 데이터 버전 관리만 하는 것은 아니고, 실험 관리, CI/CD 등 ML에 활용되는 전체 파이프라인에 모두 활용할 수 있지만 이름인 DVC인 만큼 데이터 버전 관리하는 방법에 대해 알아보겠다.DVC 설치설치하는 방법은 매우 쉽다. ..
- Total
- Today
- Yesterday