기록은 기억을 지배한다

Notion에서 Tistory로 자동 업로드 #7 (selenium으로 페이지 자동 다운로드)개요잠깐 지난번까지 해왔던 것들을 정리해 보겠습니다. 빨간 부분은 이번에 알아 볼 방법입니다.notion-py모듈을 이용해서 발행할 페이지 탐색발행할 페이지를 자동으로 다운로드(html export)다운로드 한 html을 parsing하여 notion style에 맞게 수정tistory api를 이용하여 위 3번의 페이지를 tistory에 업로드 이번에는 1번을 활용해서 발행할 페이지만 골라서 다운로드 하는 방법을 알아보겠습니다. selenium이라는 python 모듈을 이용하여 해당 페이지에 각각 접속하여 다운로드 해보겠습니다. 일단 여기를 클릭하여 selenium을 사용할 수 있도록, chromedriver를..

[Python] Selenium을 크롬 창 없이 실행하기(background에서 실행하기)개요지난 게시물에서 selenium을 사용하는 방법을 알아보았습니다.보통 selenium으로 크롤링을 하거나 인터넷으로 하는 단순 반복 작업을 하게 됩니다. 이럴 때에 처음에는 잘 동작하는지 눈으로 확인하곤 하지만, 정상 동작한다면 굳이 크롬 창을 띄워서 확인하고 싶지 않은 경우가 있을 텐데요. 이때 background에서 selenium을 실행하는 방법을 알아 보겠습니다.방법selenium으로 chrome driver를 실행할 때 옵션을 주면 됩니다. 코드로 확인해 보겠습니다.from selenium import webdriver # 옵션 생성 options = webdriver.ChromeOptions() # 창..

[Python] Selenium을 이용하여 인터넷 사용하기(크롤링, 로그인 등)❓Selenium이란?python의 한 모듈로 인터넷을 자유롭게 조작할 수 있도록 만들어진 라이브러리입니다. 이 기능을 이용해서 인터넷 업무를 자동화하거나, 인터넷의 자료들을 크롤링 하는 등 다양한 방법으로 활용할 수 있습니다. 👨‍💻 selenium 설치python이 설치되어 있다고 가정하고 진행하겠습니다.설치는 간단하게 pip으로 진행하겠습니다. 아주 간단하죠?$ pip3 install selenium🖨️ 크롬 드라이버 다운로드selenium을 사용하기 위해선 브라우저가 필요합니다. safari, chrome 등 다양한 브라우저를 지원하지만 가장 안정적인 크롬을 사용하겠습니다. 크롬을 사용하기 위해 크롬 드라이버를 먼저 다..

[Notion] 노션에 방문자 수 카운트하기개요사용방법page link 알아내기notion에서 embed하기참고자료개요요즘에는 노션을 개인 블로그처럼 사용하는 사람들이 많다. 그러나 타 블로그와 달리 노션에는 방문에 대한 통계정보를 제공하지 않는다. 이에 embed기능을 활용하여 아주 간단하게 방문자 횟수를 알아낼 수 있다. 사용방법page link 알아내기원하는 notion page에서 share 버튼을 클릭하면 해당 page의 링크가 나오는데, copy link 버튼을 눌러주면 링크가 복사된다.notion에서 embed하기위에서 복사한 page 링크를 아래 주소의 [노션 페이지 주소] 를 지우고 해당 자리에 붙여넣기하여 바꿔준다.방문자 수를 확인할 페이지에서 /embed 를 작성하여 [노션 페이지 주..

Notion에서 Tistory로 자동 업로드 #6 (notion property 자동 수정)목표이번에는 notion table의 상태 property를 확인해서 발행준비 완료로 되어있는 페이지를 탐색해서 어떤 페이지를 업로드 할 건지 찾아주는 것과 업로드가 완료 되었다면 카테고리를 발행준비 완료에서 발행완료로 변경하는 방법을 알아보겠습니다.Notion table property 예시업로드 할 페이지 찾기지난번에 카테고리 id를 찾기 위해 notion-py모듈을 사용한 것처럼 이번에도 같은 방법으로 사용하겠습니다.이번에는 상태라는 property를 체크해서 발행준비 완료인 page들을 반환하는 함수를 작성해 보겠습니다.(이때 한글로 상태라는 property 명은 notion-py에서 자동으로 sangtae..

미라클모닝 밀리어네어를 읽고후기당신이 믿는다면, 그리고 실천한다면 기적은 당신의 생각보다 가까이 다가와 있을 것이다. -헌사책의 도입부 가장 처음에 헌사에서 나오는 말이다. 지난번에 읽었던 '신과 나눈 이야기'에서의 논점과 매우 비슷하다. 내가 진정으로 믿고, 행한다면 그것이 기적이 되는 것이다. 아무것도 하지 않으면서 기적이 일어나길 바라지 말고 아주 조금씩이라도 실천해 나가자. 기적을 향해서! 삶이 나아져서 아침형 인간이 되는 게 아니다. 아침에 일어날 때마다 삶이 나아지는 것이다. p35왜 아침형 인간이 돼야 하는지에 대한 대답인 것 같다. 사회적으로 성공한 수많은 사람들은 아침형 인간이었다고 한다. 아침형 인간이라고 모두 성공하는 것은 아니지만, 성공한 사람의 대부분은 아침형 인간이었다고 한다. ..

[딥러닝] Tensorflow 에서 모델 생성하는 법모델 생성 방법Tensorflow에서는 딥러닝 모델을 만드는 방법이 아래와 같이 3가지가 있습니다. Sequential 모델Functional 모델Subclassing 모델1, 2번은 기존 Keras를 사용하셨다면 이해하기 쉽고, 3번은 pytorch와 비슷한 방법입니다. 각각 어떻게 모델을 만드는지 알아보겠습니다.Sequential 모델 가장 구현하기 쉬운 방법입니다. Sequential 모델을 생성하여 원하는 layer를 순차적으로 add하는 방식입니다. 다만 이 방법으로는 직관적인 모델을 빠르게 구현할 수 있지만, 구조가 조금 복잡해지면 구현하기 어려울 수 있다는 단점이 있습니다.from tensorflow.keras.models import Se..

[딥러닝] tensorflow에서 학습된 모델 저장, 불러오기저장하기저장할 때에는 2가지 방법이 있다. 모델 구조와 weight를 한 번에 저장하는 방법과, weight만을 저장하는 방법이다. 상황에 따라 필요한 방법을 사용하면 된다. 모델을 통째로 저장할 때에는 디렉토리 경로를 지정해주면 해당 경로에 모델이 저장된다. weight만을 저장할 때에는 아래와 같이 확장자 지정 없이 경로를 지정해 주면 weigh값만 저장이 된다.# 1. 모델 통째로 저장 model.save('./my_model') # 2. weight만 저장 model.save_weights('./my_model/epoch_001') # 3. callbacks를 사용하여 저장 # 체크포인트 경로 지정({}변수 에 epoch 값이 들어가도록..

Linux(Ubuntu)에서 권한 확인, 설정하기현재 디렉토리 확인$ ls -alType-로 시작하는 건 파일d로 시작하는 건 디렉토리권한r: Read = 4w:Write = 2x:eXecute = 1# sample -rwxrwxrwx (777) -r--r--r-- (444) -rwx--x--x (711)2~4 필드: 소유주(User) 권한5~7 필드: 그룹(Group) 권한8~10필드: 나머지(Others) 권한권한 변경(설정)chmod 755 test.txt # 소유자에게 rwx, 나머지에겐 r-x chmod o+rw test.txt # others에게 rw- chmod 700 * # 현재 경로의 모든 폴더와 파일 권한 수정 chmod -R 755 folder # folder경로의 모든 폴더와 파일 ..

Notion에서 Tistory로 자동 업로드 #5 (tistory 카테고리 id를 notion table에서 가져오기)개요티스토리 블로그 카테고리 id 가져오기파이썬에서 requests로 가져오기notion-py를 이용해서 발행할 게시물(페이지)의 카테고리 이름 찾기notion table property 세팅notion-py 모듈로 가져오기다음 할 일개요지난 번엔 티스토리 블로그에 자체 CSS를 적용하여 노션에서 제공하는 style처럼 보이게 만들었습니다. 이번에는 게시물을 업로드 할 때 어떤 카테고리에 올릴 지 티스토리 API를 사용하여 원하는 카테고리 id를 가져오는 방법을 알아보겠습니다.티스토리 블로그 카테고리 id 가져오기아래 링크는 티스토리에서 제공하는 공식 API 설명입니다. 그 중에서 카테고..