혹시 잊었다면: Keras, Tensorflow에서 GPU 똑똑하게 사용하기 - 1부 1부에서는, tensorflow를 통해 gpu와 그 메모리들을 관리하는 방법에 대해 다루었다. 이번 포스팅에서는 실제로 어떠한 방법들을 사용해야 gpu를 효율적으로 다룰 수 있을지에 대해 논해본다. Out of Memory?당장 해법이 급하다면 넘어가도 무방하다 Out of Memory를 자주보고 있다면, 본인이 아래의 케이스에 속하는지 확인해보자. StackOverflow에도 종종 올라오는 대표적인 사례들이다. batch_size가 너무나 크다. 한 프로세스에서 다른 Model을 두번 compile 했다. gpu를 사용하는 (또는 했던) 다른 프로세스가 아직 작업 중이거나, 작업이 끝났음에도 불구하고 terminate..
이번 포스팅에서는 Keras와 Tensorflow에서 GPU를 더 똑똑하게 사용하는 방법에 대해 알아보자. 케라스 (와 당연히 텐서플로우)를 사용한다면, GPU도 높은 확률로 사용 중일 것 이다. 근데 이놈의 텐서플로우는 default로 (2장 이상의 GPU를 사용한다면 모든) GPU의 메모리를 배정받으면서 시작되는데, 이 경우 파이썬 프로세스를 하나만 실행하기만 해도 GPU 메모리가 허덕이는 경우가 태반이다. 하는일은 하나도 없고 (util : 0%) 메모리는 95%를 먹고계신 Tensorflow ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[10000,32,28,28] [[Node: conv..
사실 이 글을 써야하나 말아야하나 했으나... 본 블로그는 완전초보를 위한 블로그이므로 가볍게 다루고 넘어간다. 1. pip? pip!우선 파이썬의 거의 모든 라이브러리는 pip이라는 설치라이브러리를 통해 설치할 수 있다. 이글을 쓰는 2017년 말 기준으로 9.0.1이 최신 버전(홈페이지)이며, 파이썬이 설치되어 있다면 같이 있을 확율이 높으므로, 추가적으로 설치할 필요는 없다. 다만, 구버전의 파이썬을 설치 할때, 버전이 8.x 대가 포함되어 있어, 사용할 때마다 업그레이드 하라고 주의를 줄테니 가볍게 업그레이드를 해주고 가자 C:\>pip install --upgrade pip pip을 통해 pip 자신을 업그레이드 해주었는데, 대다수의 라이브러리도 같은 방식으로 설치하게 된다. 당장 사용할때에는,..
나만의 홈페이지를 만들고 싶다는 생각은 인터넷을 사용하는 사람이라면 누구나 다 해봤을 것이다. 이에 추가로, 나만의 프로그램을 만드는 것 또한, 개발자라면 한번 쯤 생각 해 봤을 것같다. 필자는 이를 위해 Django 라는 라이브러리를 사용하고 있는데, 사용하기 아주 간단한 파이썬 웹 프레임워크라고 생각하면 된다. 오늘 포스팅에서는 Django를 설치하고, 크롬에서 기본 페이지까지 실행 시키는 방법에 대해 설명하고자 한다. 대부분의 내용이 공식홈페이지(클릭) 을 따라 한 것이나, 본 포스트에서는 초심자가 Windows에서 기본적인 앱을 구동하는 것까지를 목표로 한다.1. 준비물파이썬- pip (파이썬이 있다면 pip도 있다)- virtualenv (꼭 있어야 하진 않지만 독립된 환경에서 하는 것이 여러모..
2017/03/01 - [Tensorflow] - 1. 윈도우에서 Tensorflow 사용하기 (CPU 버전) 앞선 글에서는 윈도우에서 native pip을 사용하여 Tensorflow를 사용하는 방법을 알아보았다. 하지만 해당글에서 나온 설치방법만으로는 tensorflow-gpu를 제대로 사용할 수 없는데, 몇가지 툴셋들이 빠져있기 때문이다. 이번 글에서는 어떤것을 어떻게 깔아야 하는지 간략하게 알아보자. 1. 지금 상황은?필자의 Tensorflow 설치법을 따라서 tensorflow-gpu를 설치했다면, python에서 tensorflow를 불러올 때 아래와 같은 에러가 뜨게 된다. >>> import tensorflowI c:\tf_jenkins\home\workspace\release-win\de..
Tensorflow가 점차 업데이트됨으로써, 윈도우에서 docker나 다른 프로그램을 사용하지 않고도 tensorflow를 이용할 수 있게 되었다. 현재 공식홈페이지에는 native pip 설치와 Anaconda를 이용한 가상환경 구축으로 설치방법이 있지만, Anaconda는 2017년 3월 1일 기준 공식적으로 지원하는 설치방법이 아니므로, The Anaconda installation is community supported, not officially supported. 이번 포스팅에서는 윈도우에 native pip을 사용하여 tensorflow를 설치하는 방법에 대하여 알아보자 (※아마 이 글을 읽으며 터미널이 뭔지, 명령어는 뭘 쳐야하는지, 하나도 모르는 사람은 거의 없을 것 같지만, 그래도 이..
Python/Keras 2019. 2. 20. 23:52
혹시 잊었다면: Keras, Tensorflow에서 GPU 똑똑하게 사용하기 - 1부 1부에서는, tensorflow를 통해 gpu와 그 메모리들을 관리하는 방법에 대해 다루었다. 이번 포스팅에서는 실제로 어떠한 방법들을 사용해야 gpu를 효율적으로 다룰 수 있을지에 대해 논해본다. Out of Memory?당장 해법이 급하다면 넘어가도 무방하다 Out of Memory를 자주보고 있다면, 본인이 아래의 케이스에 속하는지 확인해보자. StackOverflow에도 종종 올라오는 대표적인 사례들이다. batch_size가 너무나 크다. 한 프로세스에서 다른 Model을 두번 compile 했다. gpu를 사용하는 (또는 했던) 다른 프로세스가 아직 작업 중이거나, 작업이 끝났음에도 불구하고 terminate..
Python/Keras 2018. 10. 11. 22:07
이번 포스팅에서는 Keras와 Tensorflow에서 GPU를 더 똑똑하게 사용하는 방법에 대해 알아보자. 케라스 (와 당연히 텐서플로우)를 사용한다면, GPU도 높은 확률로 사용 중일 것 이다. 근데 이놈의 텐서플로우는 default로 (2장 이상의 GPU를 사용한다면 모든) GPU의 메모리를 배정받으면서 시작되는데, 이 경우 파이썬 프로세스를 하나만 실행하기만 해도 GPU 메모리가 허덕이는 경우가 태반이다. 하는일은 하나도 없고 (util : 0%) 메모리는 95%를 먹고계신 Tensorflow ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[10000,32,28,28] [[Node: conv..
Python 2017. 12. 7. 13:30
사실 이 글을 써야하나 말아야하나 했으나... 본 블로그는 완전초보를 위한 블로그이므로 가볍게 다루고 넘어간다. 1. pip? pip!우선 파이썬의 거의 모든 라이브러리는 pip이라는 설치라이브러리를 통해 설치할 수 있다. 이글을 쓰는 2017년 말 기준으로 9.0.1이 최신 버전(홈페이지)이며, 파이썬이 설치되어 있다면 같이 있을 확율이 높으므로, 추가적으로 설치할 필요는 없다. 다만, 구버전의 파이썬을 설치 할때, 버전이 8.x 대가 포함되어 있어, 사용할 때마다 업그레이드 하라고 주의를 줄테니 가볍게 업그레이드를 해주고 가자 C:\>pip install --upgrade pip pip을 통해 pip 자신을 업그레이드 해주었는데, 대다수의 라이브러리도 같은 방식으로 설치하게 된다. 당장 사용할때에는,..
Python/Django 2017. 11. 14. 14:42
나만의 홈페이지를 만들고 싶다는 생각은 인터넷을 사용하는 사람이라면 누구나 다 해봤을 것이다. 이에 추가로, 나만의 프로그램을 만드는 것 또한, 개발자라면 한번 쯤 생각 해 봤을 것같다. 필자는 이를 위해 Django 라는 라이브러리를 사용하고 있는데, 사용하기 아주 간단한 파이썬 웹 프레임워크라고 생각하면 된다. 오늘 포스팅에서는 Django를 설치하고, 크롬에서 기본 페이지까지 실행 시키는 방법에 대해 설명하고자 한다. 대부분의 내용이 공식홈페이지(클릭) 을 따라 한 것이나, 본 포스트에서는 초심자가 Windows에서 기본적인 앱을 구동하는 것까지를 목표로 한다.1. 준비물파이썬- pip (파이썬이 있다면 pip도 있다)- virtualenv (꼭 있어야 하진 않지만 독립된 환경에서 하는 것이 여러모..
Python/Tensorflow 2017. 3. 2. 17:07
2017/03/01 - [Tensorflow] - 1. 윈도우에서 Tensorflow 사용하기 (CPU 버전) 앞선 글에서는 윈도우에서 native pip을 사용하여 Tensorflow를 사용하는 방법을 알아보았다. 하지만 해당글에서 나온 설치방법만으로는 tensorflow-gpu를 제대로 사용할 수 없는데, 몇가지 툴셋들이 빠져있기 때문이다. 이번 글에서는 어떤것을 어떻게 깔아야 하는지 간략하게 알아보자. 1. 지금 상황은?필자의 Tensorflow 설치법을 따라서 tensorflow-gpu를 설치했다면, python에서 tensorflow를 불러올 때 아래와 같은 에러가 뜨게 된다. >>> import tensorflowI c:\tf_jenkins\home\workspace\release-win\de..
Python/Tensorflow 2017. 3. 1. 08:47
Tensorflow가 점차 업데이트됨으로써, 윈도우에서 docker나 다른 프로그램을 사용하지 않고도 tensorflow를 이용할 수 있게 되었다. 현재 공식홈페이지에는 native pip 설치와 Anaconda를 이용한 가상환경 구축으로 설치방법이 있지만, Anaconda는 2017년 3월 1일 기준 공식적으로 지원하는 설치방법이 아니므로, The Anaconda installation is community supported, not officially supported. 이번 포스팅에서는 윈도우에 native pip을 사용하여 tensorflow를 설치하는 방법에 대하여 알아보자 (※아마 이 글을 읽으며 터미널이 뭔지, 명령어는 뭘 쳐야하는지, 하나도 모르는 사람은 거의 없을 것 같지만, 그래도 이..