기록은 기억을 지배한다

[ML] Pycaret으로 ML모델 쉽게 만들기Pycaret이란?pycaret이란 AutoML을 하게 해주는 파이썬 라이브러리입니다. scikit-learn 패키지를 기반으로 하고 있으며 Classification, Regression, Clustering, Anomaly Detection 등등 다양한 모델을 지원합니다. 공식문서에 설명이 매우 잘 되어있고, 몇 줄의 코드로 쉽게 구현이 가능하여 유용하게 사용할 수 있을 것 같습니다.1. 데이터셋 준비, setuppycaret에서 제공하는 get_data 함수로 juice 데이터를 불러오겠습니다. 데이터를 불러오면 자동으로 .head() 를 실행해 5개의 row를 출력합니다.from pycaret.datasets import get_data dataset..

[딥러닝] Mixed Precision 사용하기(tensorflow 설명)개요mixed precision은 모델 학습시 FP16, FP32 부동 소수점 유형을 상황에 따라 유연하게 사용하여 학습을 더 빠르게 실행하고 메모리를 적게 사용하는 방법이다. Forwad, Backward Propagation은 모두 FP16으로 연산하고, weight를 업데이트 할 때에는 다시 FP32로 변환하여 계산한다. 단, FP16의 경우, 매우 낮은 수는 표현할 수 없어 모두 0이 된다. 이를 방지하기 위해 특정 값을 곱하여(scaling하여) loss, gradients 계산하고 weight를 업데이트한다. 이때 FP16 범위를 벗어나는 underflow, overflow가발생하지 않게 적정한 값으로 scaling 해줘..

[딥러닝] Tensorflow 에서 모델 생성하는 법모델 생성 방법Tensorflow에서는 딥러닝 모델을 만드는 방법이 아래와 같이 3가지가 있습니다. Sequential 모델Functional 모델Subclassing 모델1, 2번은 기존 Keras를 사용하셨다면 이해하기 쉽고, 3번은 pytorch와 비슷한 방법입니다. 각각 어떻게 모델을 만드는지 알아보겠습니다.Sequential 모델 가장 구현하기 쉬운 방법입니다. Sequential 모델을 생성하여 원하는 layer를 순차적으로 add하는 방식입니다. 다만 이 방법으로는 직관적인 모델을 빠르게 구현할 수 있지만, 구조가 조금 복잡해지면 구현하기 어려울 수 있다는 단점이 있습니다.from tensorflow.keras.models import Se..

안녕하세요, 오늘은 google에서 작성한 MobileNet의 두 번째 버전입니다. 정식 이름은 MobileNetV2: Inverted Residuals and Linear Bottlenecks로 기존의 MobileNet에서 cnn구조를 약간 더 수정하여 파라미터 수와 연산량을 더욱 줄인 네트워크입니다. 논문링크: https://arxiv.org/abs/1801.04381 MobileNetV1 리뷰: https://minimin2.tistory.com/42 우선 논문에 제시된 아래 cnn 구조를 먼저 살펴보겠습니다. 두 구조의 block내부는 모두 지난 포스팅에서 설명드린 depthwise separable convolution입니다. (a)는 일반적인 resnet 구조에서 사용하는 residual 구조..