데이터마스터

[검은사막] 황실 제작 납품 재료

Christopher Kim — Mon, 3 May 2021 16:44:05 +0900

기준: 2021년 12월 31일

13만, 20만, 30만

40만, 55만, 80만

[sklearn] 알고리즘이 분류, 회귀, 이상치탐지 중 어떤건가?

Christopher Kim — Sun, 24 Jan 2021 22:11:53 +0900

아주 희박한 확률로, model 객체를 받았는데, 이게 분류 (classifier) 모델인지, 회귀 (regressor) 모델인지, 이상치 (outlier_detector) 인지를 프로그램적으로 판단해야할 때가 있다.

그럴 때를 위해 sklearn에는 is_classifier, is_regressor, is_outlier_detector 총 3가지의 validation 툴이 존재한다.

from sklearn.base import is_classifier, is_regressor, is_outlier_detector
from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor, IsolationForest

models = [RandomForestClassifier, RandomForestRegressor, IsolationForest]

for m in models:
    print(m.__name__, is_classifier(m), is_regressor(m), is_outlier_detector(m))

위와 같이 각각 RandomForestClassifier, RandomForestRegressor, IsolationForest를 테스트 해보면, (물론 우리는 이름만 봐도 알 수 있다).

RandomForestClassifier True False False
RandomForestRegressor  False True False
IsolationForest        False False True

이상, 간단하게 알고리즘의 타입을 찾는 방법에 대해 알아보았다.

본 글은 필자가 답변한 How to check if sklearn model is classifier or regressor 을 가다듬은 것입니다.

[sklearn] One Hot Encoding 되돌리기

Christopher Kim — Sun, 24 Jan 2021 21:56:21 +0900

scikit-learn에서 OneHotEncoder를 사용하고 되돌리는 방법에 대해 알아보자.

머신러닝을 할 때, sklearn.preprocessing.OneHotEncoder 또는 sklearn.preprocessing.LabelEncoder를 사용하여 학습을 하게된다면, 최종 예측 결과도 one-hot encoded 된 결과로 나오게 되는데, 간단하게 inverse_transform을 통해 원래 형식으로 바꿀 수 있다.

아래처럼 샘플 시리즈 ["a", "b", "c"]가 있다고 할 때, OneHotEncoder 또는 LabelEncoder를 사용하게 된다면:

import pandas as pd
from sklearn.preprocessing import LabelEncoder, OneHotEncoder

s = pd.Series(['a', 'b', 'c'])
le = LabelEncoder()
ohe = OneHotEncoder(sparse=False)
s1 = le.fit_transform(s)
s2 = ohe.fit_transform(s.to_numpy().reshape(-1, 1))

아래와 같은 numpy.ndarray 형식을 보게 된다:

# s1
array([0, 1, 2])
# s2
array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])

이 array를 다시 우리가 원하는 string 값으로 받으려면:

inv_s1 = le.inverse_transform(s)
inv_s2 = ohe.inverse_transform(s2).ravel()

최종값:

# inv_s1
array(['a', 'b', 'c'], dtype=object)

# inv_s2
array(['a', 'b', 'c'], dtype=object)

유의할 점은, LabelEncoder는 주로 1d array (=pandas.Series) 용도이지만 안되진 않는다, DataConversionWarning을 보게될 뿐). 그러나 OneHotEncoder의 경우 반드시 2d array (=pandas.DataFrame)을 사용해야 한다는 것.

1d array를 2d array로 바꿔야 한다거나, 왜 에러가 나는지 모르겠다면 필자의 디버깅 글을 참조하자:

[debugging] Expected 2D array, got 1D array instead

본 글은 필자가 답변한 How to go back from ONE-HOT-ENCODED labels to single column using sklearn? 을 가다듬은 것입니다.

[debugging] Access Control Allow Origin 에러 해결법

Christopher Kim — Sun, 24 Jan 2021 17:49:03 +0900

UI 등을 만들 때, 만약 아래와 같은 에러가 난다면?

Access to XMLHttpRequest at 'http://192.168.1.10:9999/api/list?' from origin 'http://localhost:3200' has been blocked by CORS policy.
Response to preflight request doesn't pass acess control check: No 'Access-Control-Allow-Origin' header is present on the requested resource.

99%의 확률로 브라우저 단에서 막고 있는 것이므로 아래와 같이 해결한다.

주의! 본 블로그는 본인이 실행한 코드에 대해 그 어떠한 책임도 지지 않습니다.

Chrome

윈도우에서 실행창 (윈도우키 + R)을 띄워 아래의 명령어를 입력한다.
```
chrome.exe --user-data-dir="C://Chrome dev session" --disable-web-security
```

아래와 같이 크롬을 실행했을 때 무시무시한 말(?)이 나온다면 성공!

[python] 파이썬 빌트인 모듈 (내장모듈들)

Christopher Kim — Sun, 24 Jan 2021 14:44:59 +0900

주의: 이 글은 파이썬 3.5.4를 기준으로 작성되었습니다

공식 홈페이지[영문]

공식 홈페이지[한글]

[News] 파이썬 3.5 지원 종료

Christopher Kim — Sun, 24 Jan 2021 14:12:58 +0900

거의 반년 전인 2020년 9월 5일에 파이썬 3.5.10 버전이 발표되고, 그와 함께 파이썬 3.5의 공식적인 종료가 선언 되었습니다. 왜 반년 전 일을 지금 적냐고 말씀드리면...

DEPRECATION: Python 3.5 reached the end of its life on September 13th, 2020. Please upgrade your Python as Python 3.5 is no longer maintained. pip 21.0 will drop support for Python 3.5 in January 2021. pip 21.0 will remove support for this functionality.

파이썬 패키지를 설치하는데 준 필수적인 pip에서 위와 같이 2021년 올해 1월 이후를 기점으로 공식적인 지원 종료를 언급하고 있어서죠.

물론 오프라인에서 .whl 파일을 직접 설치하시거나 하시는 분들은 상관없고, pip 버전이 21.0 미만 인 경우에도 큰 상관없습니다. 지원 종료가 그만 써야한다는 말은 아니니까요 (물론 제발 구버전은 버리고 신버전 써줘라는 말이긴 합니다.)

저와 비슷하게 ubuntu 16.04.X를 쓰신다면, 파이썬 3.5.2가 기본 버전일텐데, 슬슬 OS 업그레이드던, python 업그레이드를 생각해보실때가 오고 있습니다.

아래는 파이썬 재단의 원문입니다: 링크

Python 3.5.10

Python 3.5 has reached end-of-life. Python 3.5.10 is the final release of 3.5.

Python 3.5.10 was released on September 5th, 2020.

Python 3.5.10 is the final release in the Python 3.5 series. As of this release, the 3.5 branch has been retired, no further changes to 3.5 will be accepted, and no new releases will be made. This is standard Python policy; Python releases get five years of support and are then retired.

If you're still using Python 3.5, you should consider upgrading to the current version. Newer versions of Python have many new features, performance improvements, and bug fixes, which should all serve to enhance your Python programming experience.

We in the Python core development community thank you for your interest in 3.5, and we wish you all the best!

Python Enhancement Proposal (PEP) 이란?

Christopher Kim — Sun, 24 Jan 2021 13:40:26 +0900

PEP가 뭐야?

PEP (이하 펩)이란, Python Enhancement Proposal, 즉 파이썬 개선안의 약자로써, 파이썬 커뮤니티에 파이썬 디자인에 대한 정보를 공유하고, 새로운 기능 및 해당 기능의 프로세스 또는 환경에 대해 설명한다... 라고 되어있다.

뭔소리인고 하니, 개발할 땐 이렇게 하는게 좋고, 이 기능은 뭘 하는데 왜 만들었고, 뭐 그런것들을 문서화 해놓은 거라고 생각하면 된다. 물론, 실질적인 코드단의 문서야 이미 공식문서에 잘 적혀 있지만, 기본적으로 왜 이러한 기능들이 포함되어야 하는지, 어떻게 쓰길 기대하면서 만들었는지에 대한 서술이므로 시간날 때 한번쯤 읽어보면 파이썬에 대한 더 깊은 이해가 가능하다.

PEP의 종류

기본적으로 3가지의 종류가 있다.

Standards Track (S)
Informational (I)
Process (P): P 분류의 펩은, 파이썬의 전반적인 프로세스에 관해 서술한다. 이 문서 또한, PEP 1: PEP의 목적과 가이드라인을 기반으로 만들어졌다.

[python] 파이썬 버전별 차이점

Christopher Kim — Sun, 24 Jan 2021 13:35:53 +0900

파이썬은 계속 새로워 지고 있다는데, 내가 쓰고 있는 파이썬 대비 다음 버전엔 어떤 차이가 있을까?

필자의 원래 개발 환경은 Ubuntu 16.04.X LTS로, 16년에 출시한 우분투 버전인데, 최근 20.04로의 이식을 고려하면서

자연스레 파이선 버전 또한 신경쓰게 되었다.

필자의 정리가 아니라 공식 문서를 보고 싶다면, 아래 링크를 참조:

3.5 -> 3.6 : What’s New In Python 3.6 — Python 3.9.1 documentation
3.6 -> 3.7 : What’s New In Python 3.7 — Python 3.9.1 documentation
3.7 -> 3.8 : What’s New In Python 3.8 — Python 3.9.1 documentation

파이썬 3.6 변경사항

새로운 Syntax 추가

PEP 별로 자세한 사항은 독립된 글에서 다시 다룹니다.

PEP 498: formatted string literals. 일명 f-string 추가

Python

Christopher Kim — Sun, 24 Jan 2021 13:35:06 +0900

Python!

Python에 관한 정리 페이지 입니다.

Release Note and New

Python 3.10.x

파이썬 3.10.0a5 개발자 베타 릴리즈 예정 (2021년 2월 1일)
파이썬 3.10.0a4 개발자 베타 릴리즈

Python 3.8.x

Python 3.5.x

파이썬 3.5.10 릴리즈 및 3.5 지원 종료

Syntax (PEP)

Python Enhancement Proposal (PEP) 이란?
파이썬 개발을 시작한다면 알아야할 PEP

Built-in functions (내장함수)

파이썬 내장 함수들

Built-in modules (내장모듈)

파이썬 내장 모듈들

Contact

Christopher Kim — Sun, 24 Jan 2021 11:16:46 +0900

파이썬 개발을 취미로, 본업으로 삼고 있는 개발자 입니다.

재밌는 프로젝트나, 스타트업, 개발 강의, 이론 강의 등 저에게 하실 말씀이나 제안 사항이 있으시면 언제든지 연락 주세요.

sjyskr@gmail.com

개발 능력

Python: Professional
- 약 7년간 업무 경험
- StackOverflow 상위 1% (python, python3, pandas)
- User Chris - Stack Overflow

OSS: Hadoop, Spark, Kafka, Docker (Swarm & Kubenetes)

보유 특허

등록번호 10-2109960: 기계학습 기반 빈도형 보안정책 생성시스템 및 그 방법
등록번호 10-2131353: 머신 러닝의 예측 데이터 피드백 적용 방법 및 그 시스템
등록번호 10-2168496: 전이 학습을 위한 환경분석 및 보정시스템과 그 방법
등록번호 10-2247182: 클러스터링 기법을 이용한 신규 데이터 생성 방법, 장치 및 프로그램

그 외

멘사코리아 정회원 (가입일 2015년 11월 9일)