기록은 기억을 지배한다

TorchMetrics란?특징설치함수형 사용법모듈형 사용법새로운 Custom Metric 구현 방법Metric 내부 동작 GPU에서의 사용방법MetricCollection 사용방법Memory management참고자료 TorchMetrics란?TorchMetrics는 PyTorch 에서 사용할 수 있는 Metric 구현 라이브러리이다. 구현된 Metric은 100가지가 넘으며, 쉬운 API 구성으로 훈련 및 평가시 사용할 수 있다.특징PyTorch에서 사용 가능한 다양한 메트릭 함수 제공메트릭 컬렉션을 제공하여 여러 메트릭 함수를 한번에 사용 가능GPU를 사용하여 빠른 속도로 메트릭을 계산할 수 있음분산 학습 호환 및 자동 동기화 metrics 계산 시 배치 단위로 누적 연산이 가능함설치터미널에서 아래 ..

Sweepsweep 코랩 링크다양한 하이퍼파라미터를 자동으로 학습하여 시각적인 그래프로 보여준다.하이퍼파라미터를 튜닝하는 모든 알고리즘은 open source로 공개되어있다.Sweep 세팅설치pip3 install wandb wandb loginsweep config 설정yaml 파일로 탐색할 hyperparameters를 지정한다.metric name으로 지정한(아래 예시에서는 validation_loss)는 반드시 학습 코드 내에 wandb.log({’validation_loss’:val_loss}) 형태로 로그되어야 한다.# sweep_sample.yaml program: train.py method: bayes metric: name: validation_loss goal: minimize par..

Weights & Biases란?wandb는 MLOps 플랫폼으로 머신러닝, 딥러닝을 학습하는데 필요한 다양한 기능들을 제공한다. 대표적으로 아래의 기능등을 갖추고 있다.실험관리하이퍼파라미터 튜닝데이터, 모델 버저닝모델 관리데이터 시각화협업 리포트wandb 기초 사용법pytorch를 사용하여 학습하는 환경에서 wandb를 이용해서 필요한 metric의 log를 기록하고, 그래프 형태로 확인하는 것을 먼저 알아본다.코랩 샘플 링크를 통해서 pytorch에서 사용하는 기본적인 wandb 사용법을 익힐 수 있다.W&B 설치wandb.ai 에 접속하여 회원가입하면 API key를 발급받을 수 있다.pip을 통해 wandb를 설치하고 위에서 발급받은 API key로 로그인을 한다.pip3 install wandb..

AnoGAN AnoGAN안녕하세요, 오늘 정리할 논문은 AnoGAN 입니다. 실제 논문 제목은 "Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery" 입니다.기존 일반 딥러닝 분류 모델에는 다음과 같은 문제가 있습니다.Anomaly에 대한 Annotation 수작업이 필요하다.정상/비정상 데이터에 대해서 비정상 데이터의 개수가 압도적으로 적다.e.g. 공장에서의 비정상 데이터, 특정 질병 데이터위의 문제를 해결하기 위해서 Unsupervised 방법으로 GAN 을 결합하였는데요, 비정상 데이터 없이 정상 데이터만 학습하는 방식입니다.학습방법아래 Fig.1 처럼 GAN 모델에는 Healthy..

[딥러닝] Tensorflow 에서 모델 생성하는 법모델 생성 방법Tensorflow에서는 딥러닝 모델을 만드는 방법이 아래와 같이 3가지가 있습니다. Sequential 모델Functional 모델Subclassing 모델1, 2번은 기존 Keras를 사용하셨다면 이해하기 쉽고, 3번은 pytorch와 비슷한 방법입니다. 각각 어떻게 모델을 만드는지 알아보겠습니다.Sequential 모델 가장 구현하기 쉬운 방법입니다. Sequential 모델을 생성하여 원하는 layer를 순차적으로 add하는 방식입니다. 다만 이 방법으로는 직관적인 모델을 빠르게 구현할 수 있지만, 구조가 조금 복잡해지면 구현하기 어려울 수 있다는 단점이 있습니다.from tensorflow.keras.models import Se..

안녕하세요, 오늘은 MobileNet:Efficient Convolutional Neural Networks for Mobile Vision Application에 대해 리뷰해보겠습니다. 논문 링크: https://arxiv.org/abs/1704.04861 CNN의 초기 모델 VGG Network는 다들 아실 겁니다. 아래는 VGG-16 Network의 구조입니다. 단순히 채널 수를 증가시키며 convolution-pooling 의 연속으로 구성되어있습니다. 가장 직관적인 구조로 이해도 쉽고 구현하기도 쉽습니다. 하지만 모바일 환경에서 구동시키기엔 convolution 구조가 다소 무겁습니다. 그래서 파라미터량을 획기적으로 줄이기 위해 MobileNet이라는 새로운 논문이 나오게 됩니다. 이는 기존의 ..