기록은 기억을 지배한다

GPT 엔지니어어떤 프로그램을 만들지 지정하면, AI가 다시한번 개발 요건을 확인하고, 실제 개발 코드를 작성해줍니다.GPT 엔지니어는 코드 프롬프트를 기반으로 전체 코드 베이스를 생성하기 위해 쉽게 만들 수 있도록 하여, 상세하게 명시할수록 더욱 디테일한 코드를 작성하게 됩니다. 설치pip install gpt-engineerAPI 키 입력OpenAI API 토큰을 설정해야 하는데, 아래 방법 중 하나만 하면 됩니다.환경 변수 설정 (매번 설정하지 않도록 .bashrc나 .zshrc에 추가해도 됩니다.)export OPENAI_API_KEY=[your api key].env 파일프로젝트 파일내에 .env.template 의 사본을 만들어 .env 라고 이름을 지정합니다..env에 OPENAI_API_K..

TorchMetrics란?특징설치함수형 사용법모듈형 사용법새로운 Custom Metric 구현 방법Metric 내부 동작 GPU에서의 사용방법MetricCollection 사용방법Memory management참고자료 TorchMetrics란?TorchMetrics는 PyTorch 에서 사용할 수 있는 Metric 구현 라이브러리이다. 구현된 Metric은 100가지가 넘으며, 쉬운 API 구성으로 훈련 및 평가시 사용할 수 있다.특징PyTorch에서 사용 가능한 다양한 메트릭 함수 제공메트릭 컬렉션을 제공하여 여러 메트릭 함수를 한번에 사용 가능GPU를 사용하여 빠른 속도로 메트릭을 계산할 수 있음분산 학습 호환 및 자동 동기화 metrics 계산 시 배치 단위로 누적 연산이 가능함설치터미널에서 아래 ..

개요python의 pip은 코딩에 필요한 각종 라이브러리를 쉽게 설치할 수 있도록 도와주는 명령어입니다. 그래서 일반적으로 많이 사용하는 numpy, pandas 등을 설치할 때에는 터미널에서 아래 명령어를 실행하여 설치합니다.pip install numpy pip install pandas코드를 작성하다보면 자주 사용하는 코드들을 반복적으로 사용할 일이 생기게 됩니다. 이럴때 나만의 library를 만들어서 배포할 수 있다면 매번 복붙대신 pip로 설치해서 사용하기 쉬워집니다. 가장 쉬운 방법으로 github의 repository를 설치 패키지로 만들어서 pip install을 해보겠습니다.github repostiory 만들기아래처럼 github에서 패키지로 사용할 repository를 만들어 줍니다..

Sweepsweep 코랩 링크다양한 하이퍼파라미터를 자동으로 학습하여 시각적인 그래프로 보여준다.하이퍼파라미터를 튜닝하는 모든 알고리즘은 open source로 공개되어있다.Sweep 세팅설치pip3 install wandb wandb loginsweep config 설정yaml 파일로 탐색할 hyperparameters를 지정한다.metric name으로 지정한(아래 예시에서는 validation_loss)는 반드시 학습 코드 내에 wandb.log({’validation_loss’:val_loss}) 형태로 로그되어야 한다.# sweep_sample.yaml program: train.py method: bayes metric: name: validation_loss goal: minimize par..

IntelliJ 에서 NerdTree 사용하기(vim 플러그인)IdeaVim플러그인이 이미 설치되어있다고 가정합니다.IntelliJ에서 오른쪽 하단 IdeaVim 버튼을 클릭, Open ~/.ideavimrc 메뉴를 선택하여 설정 파일을 수정합니다. 아래 명령어를 설정파일에 추가합니다.set NERDTree그럼 이제 :NERDTree를 입력하여 Navigation바를 hjkl로 이동할 수 있습니다. 아래는 IdeaVim의 공식 답변입니다. 단축어 사용하기매번 네비게이션 할 때마다 :NERDTree를 입력하기는 번거롭습니다.따라서 단축어를 등록하여 쉽게 접근하는 법을 알아보겠습니다.위와 마찬가지로 ~/.ideavimrc 파일을 켜고 아래 줄을 추가합니다.저는 Ctrl-n 으로 설정했는데 다른 걸로 하실 분..

Weights & Biases란?wandb는 MLOps 플랫폼으로 머신러닝, 딥러닝을 학습하는데 필요한 다양한 기능들을 제공한다. 대표적으로 아래의 기능등을 갖추고 있다.실험관리하이퍼파라미터 튜닝데이터, 모델 버저닝모델 관리데이터 시각화협업 리포트wandb 기초 사용법pytorch를 사용하여 학습하는 환경에서 wandb를 이용해서 필요한 metric의 log를 기록하고, 그래프 형태로 확인하는 것을 먼저 알아본다.코랩 샘플 링크를 통해서 pytorch에서 사용하는 기본적인 wandb 사용법을 익힐 수 있다.W&B 설치wandb.ai 에 접속하여 회원가입하면 API key를 발급받을 수 있다.pip을 통해 wandb를 설치하고 위에서 발급받은 API key로 로그인을 한다.pip3 install wandb..

DVC란?DVC는 data version control의 약자로 데이터의 버전을 관리해주는 툴이다. 딥러닝/머신러닝 분야는 데이터가 핵심이기 때문에 데이터를 잘 관리해줄 필요가 있다. 소스 코드는 git등으로 쉽게 버전을 관리할 수 있지만 데이터는 대용량의 데이터가 대부분이기 때문에 git으로 관리할 수는 없다. 따라서 대용량의 데이터를 git처럼 쉽게 간단한 명령어를 통해 버전을 만들고 쉽게 checkout할수 있으며 원격 저장소에 저장까지 할 수 있게 만들었다.사실 dvc는 데이터 버전 관리만 하는 것은 아니고, 실험 관리, CI/CD 등 ML에 활용되는 전체 파이프라인에 모두 활용할 수 있지만 이름인 DVC인 만큼 데이터 버전 관리하는 방법에 대해 알아보겠다.DVC 설치설치하는 방법은 매우 쉽다. ..

streamlit 이란streamlit 은 python으로 데이터 분석을 위한 웹앱을 쉽게 만들어주는 라이브러리이다. 아래는 공식 홈페이지의 예시 코드로 python 코드 몇 줄이면 동작하는 웹 서비스를 만들 수 있다. deploy방법도 매우 쉬워서 누구나 쉽게 데모 웹을 만들 수 있다.설치 방법설치는 다른 python 패키지처럼 간단하다. pip을 이용해서 설치하면 된다.pip3 install streamlit설치가 잘 되었는지 확인하려면 아래명령어를 입력한다. 새로운 창이 뜨면서 streamlit 데모 페이지가 뜬다.streamlit hello실행 방법설치가 완료되었으면 간단하게 코드를 실행해본다. 아래와 같이 코드를 작성하고 app.py라는 이름으로 저장한다. # app.py import strea..

getter, setterpython이 아닌 다른 언어를 사용하면 getter, setter에 익숙 할 것이다. public 인스턴스 변수에 대해서는 쉽게 접근이 가능해서 따로 getter, setter를 두지 않는다. 하지만 protected, private 등의 변수를 사용하여 해당 변수에 대해서 접근하지 못하게 한 경우는 데코레이터로 getter, setter를 만들어 줄 수 있다.getter@property 데코레이터를 사용하여 변수이름을 함수명으로 하여 지정해 줄 수 있다.setter@변수명.setter 데코레이터를 사용하여 변수이름을 함수명으로 하고 파라미터로 할당할 값을 지정해주면 된다.코드class Student: def __init__(self, name): self._name = nam..

인스턴스 변수python이 아닌 다른 프로그래밍 언어를 사용하면 클래수 변수를 선언할 때 protected, private를 사용하는 것에 익숙할 것이다. 하지만 python은 명시적으로 인스턴스의 보호 범위를 지정해주는 키워드가 없다. 대신 그렇게 사용하겠다는 변수의 이름을 규칙으로 정하여 사용한다.public 변수일반적으로 사용하는 클래스의 변수는 모두 publice 변수로 어디서든 접근이 가능하다.class Student: def __init__(self, name): self.name = name student = Student('철수') print(student.name) # 철수protected 변수변수 앞에 _ 를 붙여주면 protected 변수가 된다. 다만 이는 그렇게 사용하겠다는 약속일..