본문 바로가기 메뉴 바로가기

기록은 기억을 지배한다

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

기록은 기억을 지배한다

검색하기 폼
  • 분류 전체보기 (138)
    • 알고리즘&자료구조 (11)
    • HTML+CSS (3)
    • React (3)
    • Python (16)
    • Java (2)
    • DataBase (1)
    • 클라우드 (3)
    • Ubuntu(Linux) (23)
    • 영상처리 (12)
    • ML | DL (29)
    • MLOps (3)
    • 개발 기타 (28)
    • 개인 기타 (4)
  • 방명록

TF (1)
[딥러닝] Tensorflow에서 데이터로더 병렬처리 방법

[딥러닝] Tensorflow에서 데이터로더 병렬처리 방법개요tensorflow에서 sequence 데이터로더를 사용하여 학습할 때, 데이터로더 처리 시간이 길어 gpu 사용률(Volatile GPU-Util)이 낮은 경우가 있다. gpu 사용률이 낮은건 다양한 이유가 있지만, 그 중 cpu 처리 속도가 느려 데이터를 로드하는 시간이 길어 학습 연산하는 gpu가 놀고 있는 경우도 있다. 이런 경우에는 학습 시간이 오래 걸리기 때문에, 데이터를 불러오는 시간을 줄여야 한다. 이 때, tensorflow에서 지원하는 OrderedEnqueuer를 사용하면 sequence를 병렬처리하여 시간을 단축시킬 수 있다.OrderedEnqueuer 사용법Sequence 데이터로더 생성Sequence를 상속받아 Data..

ML | DL 2020. 10. 22. 22:28
이전 1 다음
이전 다음
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday

Blog is powered by Tistory / Designed by Tistory
  • 분류 전체보기 (138)
    • 알고리즘&자료구조 (11)
    • HTML+CSS (3)
    • React (3)
    • Python (16)
    • Java (2)
    • DataBase (1)
    • 클라우드 (3)
    • Ubuntu(Linux) (23)
    • 영상처리 (12)
    • ML | DL (29)
    • MLOps (3)
    • 개발 기타 (28)
    • 개인 기타 (4)

  • 방명록

티스토리툴바