거의 반년 전인 2020년 9월 5일에 파이썬 3.5.10 버전이 발표되고, 그와 함께 파이썬 3.5의 공식적인 종료가 선언 되었습니다. 왜 반년 전 일을 지금 적냐고 말씀드리면... DEPRECATION: Python 3.5 reached the end of its life on September 13th, 2020. Please upgrade your Python as Python 3.5 is no longer maintained. pip 21.0 will drop support for Python 3.5 in January 2021. pip 21.0 will remove support for this functionality. 파이썬 패키지를 설치하는데 준 필수적인 pip에서 위와 같이 2021년 ..
PEP가 뭐야? PEP (이하 펩)이란, Python Enhancement Proposal, 즉 파이썬 개선안의 약자로써, 파이썬 커뮤니티에 파이썬 디자인에 대한 정보를 공유하고, 새로운 기능 및 해당 기능의 프로세스 또는 환경에 대해 설명한다... 라고 되어있다. 뭔소리인고 하니, 개발할 땐 이렇게 하는게 좋고, 이 기능은 뭘 하는데 왜 만들었고, 뭐 그런것들을 문서화 해놓은 거라고 생각하면 된다. 물론, 실질적인 코드단의 문서야 이미 공식문서에 잘 적혀 있지만, 기본적으로 왜 이러한 기능들이 포함되어야 하는지, 어떻게 쓰길 기대하면서 만들었는지에 대한 서술이므로 시간날 때 한번쯤 읽어보면 파이썬에 대한 더 깊은 이해가 가능하다. PEP의 종류 기본적으로 3가지의 종류가 있다. Standards Tra..
URL 관련한 작업을 하고 있다면, 원하는 부분만 추출하고 싶을 때가 있다. 아래의 예시를 살펴보자. https://docs.python.org/3.5/search.html?q=urllib&check_keywords=yes 요녀석은 대략 4가지 부분으로 이루어져 있는데, scheme: https netloc: docs.python.org path: /3.5/search.html query: q=urllib&check_keywords=yes 라고 부분별 명칭이 있다. 이걸 re 를 써서 정규식으로 추출하려고 하면 머리가 아파질텐데, 다행히 built-in 라이브러리 중에 이걸 자동으로 해주는 녀석이 있다. from urllib.parse import urlparse url = 'https://docs.py..
sklearn을 사용하다 보면 제목과 같은 에러 메시지를 종종 볼 수 있다. 다행히 개발자분들 께서 친절히 에러 메시지에 해결책을 써두고는 한다: from sklearn.impute import SimpleImputer imp = SimpleImputer() imp.fit_transform([1,2,3]) ValueError: Expected 2D array, got 1D array instead: array=[1. 2. 3.]. Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample. fit_transform..
Note: 이 글은 3.10.1 기준으로 작성 되고 있습니다. await 관련해서 업데이트를 준비 중입니다. 공식 홈페이지[영문] 공식 홈페이지[한글] 각각의 내장함수들에 대해 문서를 작성할 때 마다 링크가 업데이트 됩니다. 독립문서가 존재하는 항목은 기울임이 적용되어 있습니다. Built-in Functions A E L R abs() enu help() min() aiter() all() dir() hex() next() anext() any() divmod() id() object() ascii() enumerate() input() oct() bin() eval() int() open() bool() exec() isinstance() ord() bytearray() filter() issubcl..
공식문서(영문) class list([iterable]) 먼저 list를 만드는 방법에는 여러가지가 존재하는데: 꺿쇠괄호(...?) 만 가지고 빈 리스트 생성 : [] 꺿쇠괄호로 오브젝트 또는 콤마로 구분된 여러 오브젝트들을 둘러싸서 리스트 생성: [1] 또는 [1,2,3] List Comprehension 으로 생성: [x for x in iterable] 생성자 (Constructor)를 통해 생성: list() 또는 list(iterable) 이 중 생성자를 통한 list 생성은 초보자에겐 그닥 추천하고 싶지 않은데, iterable 에 대한 개념이 제대로 잡히지 않은 상태에서 list('abc') 와 같이 꺿쇠괄호와 비슷한 문법으로 list를 생성해서 기대와는 전혀다른 결과가 나온다거나 할 수 있..
혹시 잊었다면: Keras, Tensorflow에서 GPU 똑똑하게 사용하기 - 1부 1부에서는, tensorflow를 통해 gpu와 그 메모리들을 관리하는 방법에 대해 다루었다. 이번 포스팅에서는 실제로 어떠한 방법들을 사용해야 gpu를 효율적으로 다룰 수 있을지에 대해 논해본다. Out of Memory?당장 해법이 급하다면 넘어가도 무방하다 Out of Memory를 자주보고 있다면, 본인이 아래의 케이스에 속하는지 확인해보자. StackOverflow에도 종종 올라오는 대표적인 사례들이다. batch_size가 너무나 크다. 한 프로세스에서 다른 Model을 두번 compile 했다. gpu를 사용하는 (또는 했던) 다른 프로세스가 아직 작업 중이거나, 작업이 끝났음에도 불구하고 terminate..
이번 포스팅에서는 Keras와 Tensorflow에서 GPU를 더 똑똑하게 사용하는 방법에 대해 알아보자. 케라스 (와 당연히 텐서플로우)를 사용한다면, GPU도 높은 확률로 사용 중일 것 이다. 근데 이놈의 텐서플로우는 default로 (2장 이상의 GPU를 사용한다면 모든) GPU의 메모리를 배정받으면서 시작되는데, 이 경우 파이썬 프로세스를 하나만 실행하기만 해도 GPU 메모리가 허덕이는 경우가 태반이다. 하는일은 하나도 없고 (util : 0%) 메모리는 95%를 먹고계신 Tensorflow ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[10000,32,28,28] [[Node: conv..
사실 이 글을 써야하나 말아야하나 했으나... 본 블로그는 완전초보를 위한 블로그이므로 가볍게 다루고 넘어간다. 1. pip? pip!우선 파이썬의 거의 모든 라이브러리는 pip이라는 설치라이브러리를 통해 설치할 수 있다. 이글을 쓰는 2017년 말 기준으로 9.0.1이 최신 버전(홈페이지)이며, 파이썬이 설치되어 있다면 같이 있을 확율이 높으므로, 추가적으로 설치할 필요는 없다. 다만, 구버전의 파이썬을 설치 할때, 버전이 8.x 대가 포함되어 있어, 사용할 때마다 업그레이드 하라고 주의를 줄테니 가볍게 업그레이드를 해주고 가자 C:\>pip install --upgrade pip pip을 통해 pip 자신을 업그레이드 해주었는데, 대다수의 라이브러리도 같은 방식으로 설치하게 된다. 당장 사용할때에는,..
나만의 홈페이지를 만들고 싶다는 생각은 인터넷을 사용하는 사람이라면 누구나 다 해봤을 것이다. 이에 추가로, 나만의 프로그램을 만드는 것 또한, 개발자라면 한번 쯤 생각 해 봤을 것같다. 필자는 이를 위해 Django 라는 라이브러리를 사용하고 있는데, 사용하기 아주 간단한 파이썬 웹 프레임워크라고 생각하면 된다. 오늘 포스팅에서는 Django를 설치하고, 크롬에서 기본 페이지까지 실행 시키는 방법에 대해 설명하고자 한다. 대부분의 내용이 공식홈페이지(클릭) 을 따라 한 것이나, 본 포스트에서는 초심자가 Windows에서 기본적인 앱을 구동하는 것까지를 목표로 한다.1. 준비물파이썬- pip (파이썬이 있다면 pip도 있다)- virtualenv (꼭 있어야 하진 않지만 독립된 환경에서 하는 것이 여러모..
News 2021. 1. 24. 14:12
거의 반년 전인 2020년 9월 5일에 파이썬 3.5.10 버전이 발표되고, 그와 함께 파이썬 3.5의 공식적인 종료가 선언 되었습니다. 왜 반년 전 일을 지금 적냐고 말씀드리면... DEPRECATION: Python 3.5 reached the end of its life on September 13th, 2020. Please upgrade your Python as Python 3.5 is no longer maintained. pip 21.0 will drop support for Python 3.5 in January 2021. pip 21.0 will remove support for this functionality. 파이썬 패키지를 설치하는데 준 필수적인 pip에서 위와 같이 2021년 ..
Python 2021. 1. 24. 13:40
PEP가 뭐야? PEP (이하 펩)이란, Python Enhancement Proposal, 즉 파이썬 개선안의 약자로써, 파이썬 커뮤니티에 파이썬 디자인에 대한 정보를 공유하고, 새로운 기능 및 해당 기능의 프로세스 또는 환경에 대해 설명한다... 라고 되어있다. 뭔소리인고 하니, 개발할 땐 이렇게 하는게 좋고, 이 기능은 뭘 하는데 왜 만들었고, 뭐 그런것들을 문서화 해놓은 거라고 생각하면 된다. 물론, 실질적인 코드단의 문서야 이미 공식문서에 잘 적혀 있지만, 기본적으로 왜 이러한 기능들이 포함되어야 하는지, 어떻게 쓰길 기대하면서 만들었는지에 대한 서술이므로 시간날 때 한번쯤 읽어보면 파이썬에 대한 더 깊은 이해가 가능하다. PEP의 종류 기본적으로 3가지의 종류가 있다. Standards Tra..
Python 2020. 8. 14. 11:13
URL 관련한 작업을 하고 있다면, 원하는 부분만 추출하고 싶을 때가 있다. 아래의 예시를 살펴보자. https://docs.python.org/3.5/search.html?q=urllib&check_keywords=yes 요녀석은 대략 4가지 부분으로 이루어져 있는데, scheme: https netloc: docs.python.org path: /3.5/search.html query: q=urllib&check_keywords=yes 라고 부분별 명칭이 있다. 이걸 re 를 써서 정규식으로 추출하려고 하면 머리가 아파질텐데, 다행히 built-in 라이브러리 중에 이걸 자동으로 해주는 녀석이 있다. from urllib.parse import urlparse url = 'https://docs.py..
Python/Scikit-Learn 2019. 11. 15. 16:01
sklearn을 사용하다 보면 제목과 같은 에러 메시지를 종종 볼 수 있다. 다행히 개발자분들 께서 친절히 에러 메시지에 해결책을 써두고는 한다: from sklearn.impute import SimpleImputer imp = SimpleImputer() imp.fit_transform([1,2,3]) ValueError: Expected 2D array, got 1D array instead: array=[1. 2. 3.]. Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample. fit_transform..
Python 2019. 3. 11. 16:08
Note: 이 글은 3.10.1 기준으로 작성 되고 있습니다. await 관련해서 업데이트를 준비 중입니다. 공식 홈페이지[영문] 공식 홈페이지[한글] 각각의 내장함수들에 대해 문서를 작성할 때 마다 링크가 업데이트 됩니다. 독립문서가 존재하는 항목은 기울임이 적용되어 있습니다. Built-in Functions A E L R abs() enu help() min() aiter() all() dir() hex() next() anext() any() divmod() id() object() ascii() enumerate() input() oct() bin() eval() int() open() bool() exec() isinstance() ord() bytearray() filter() issubcl..
Python 2019. 3. 11. 16:03
공식문서(영문) class list([iterable]) 먼저 list를 만드는 방법에는 여러가지가 존재하는데: 꺿쇠괄호(...?) 만 가지고 빈 리스트 생성 : [] 꺿쇠괄호로 오브젝트 또는 콤마로 구분된 여러 오브젝트들을 둘러싸서 리스트 생성: [1] 또는 [1,2,3] List Comprehension 으로 생성: [x for x in iterable] 생성자 (Constructor)를 통해 생성: list() 또는 list(iterable) 이 중 생성자를 통한 list 생성은 초보자에겐 그닥 추천하고 싶지 않은데, iterable 에 대한 개념이 제대로 잡히지 않은 상태에서 list('abc') 와 같이 꺿쇠괄호와 비슷한 문법으로 list를 생성해서 기대와는 전혀다른 결과가 나온다거나 할 수 있..
Python/Keras 2019. 2. 20. 23:52
혹시 잊었다면: Keras, Tensorflow에서 GPU 똑똑하게 사용하기 - 1부 1부에서는, tensorflow를 통해 gpu와 그 메모리들을 관리하는 방법에 대해 다루었다. 이번 포스팅에서는 실제로 어떠한 방법들을 사용해야 gpu를 효율적으로 다룰 수 있을지에 대해 논해본다. Out of Memory?당장 해법이 급하다면 넘어가도 무방하다 Out of Memory를 자주보고 있다면, 본인이 아래의 케이스에 속하는지 확인해보자. StackOverflow에도 종종 올라오는 대표적인 사례들이다. batch_size가 너무나 크다. 한 프로세스에서 다른 Model을 두번 compile 했다. gpu를 사용하는 (또는 했던) 다른 프로세스가 아직 작업 중이거나, 작업이 끝났음에도 불구하고 terminate..
Python/Keras 2018. 10. 11. 22:07
이번 포스팅에서는 Keras와 Tensorflow에서 GPU를 더 똑똑하게 사용하는 방법에 대해 알아보자. 케라스 (와 당연히 텐서플로우)를 사용한다면, GPU도 높은 확률로 사용 중일 것 이다. 근데 이놈의 텐서플로우는 default로 (2장 이상의 GPU를 사용한다면 모든) GPU의 메모리를 배정받으면서 시작되는데, 이 경우 파이썬 프로세스를 하나만 실행하기만 해도 GPU 메모리가 허덕이는 경우가 태반이다. 하는일은 하나도 없고 (util : 0%) 메모리는 95%를 먹고계신 Tensorflow ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[10000,32,28,28] [[Node: conv..
Python 2017. 12. 7. 13:30
사실 이 글을 써야하나 말아야하나 했으나... 본 블로그는 완전초보를 위한 블로그이므로 가볍게 다루고 넘어간다. 1. pip? pip!우선 파이썬의 거의 모든 라이브러리는 pip이라는 설치라이브러리를 통해 설치할 수 있다. 이글을 쓰는 2017년 말 기준으로 9.0.1이 최신 버전(홈페이지)이며, 파이썬이 설치되어 있다면 같이 있을 확율이 높으므로, 추가적으로 설치할 필요는 없다. 다만, 구버전의 파이썬을 설치 할때, 버전이 8.x 대가 포함되어 있어, 사용할 때마다 업그레이드 하라고 주의를 줄테니 가볍게 업그레이드를 해주고 가자 C:\>pip install --upgrade pip pip을 통해 pip 자신을 업그레이드 해주었는데, 대다수의 라이브러리도 같은 방식으로 설치하게 된다. 당장 사용할때에는,..
Python/Django 2017. 11. 14. 14:42
나만의 홈페이지를 만들고 싶다는 생각은 인터넷을 사용하는 사람이라면 누구나 다 해봤을 것이다. 이에 추가로, 나만의 프로그램을 만드는 것 또한, 개발자라면 한번 쯤 생각 해 봤을 것같다. 필자는 이를 위해 Django 라는 라이브러리를 사용하고 있는데, 사용하기 아주 간단한 파이썬 웹 프레임워크라고 생각하면 된다. 오늘 포스팅에서는 Django를 설치하고, 크롬에서 기본 페이지까지 실행 시키는 방법에 대해 설명하고자 한다. 대부분의 내용이 공식홈페이지(클릭) 을 따라 한 것이나, 본 포스트에서는 초심자가 Windows에서 기본적인 앱을 구동하는 것까지를 목표로 한다.1. 준비물파이썬- pip (파이썬이 있다면 pip도 있다)- virtualenv (꼭 있어야 하진 않지만 독립된 환경에서 하는 것이 여러모..