IT/Python (10) 썸네일형 리스트형 파이썬 base64 디코딩(restapi개발) base64로 인코딩된 데이터를 resapi로 받아와서 디코딩할경우 에러가 발생할 확률이 높다 까닭은 base64는 3바이트단위로 6비트씩 잘라서 그 값을 읽어 base64로 변경하고 남은 부분을 0으로 채운 값을 1바이트당 "=" 로 변경하는데 공백이 "="으로 채워지지 않는 경우가 있기 때문이다 그래서 우리는 마지막 공백을 "="으로 채워주고 디코딩을 진행하면 된다. tmp = "agaesfaagew" # 인코딩된 문자열 끝을 =로 채워준다 tmp_result = tmp_base64_str + "=" * (4-len(tmp)%4) result = base64.b64decode(tmp_result) Error : "Number of classes in y_true not equal to the number of columns in 'y_score'" strarified_kfold를 진행하던중 만난 에러코드 roc_auc_score를 실행할때 위와같은 에러메시지가 나타난다. 불균형항 데이터셋을 가지고 있을경우 평가데이터에 목표 라벨 데이터가 존재 하지 않을경우 발생 n_split을 조정하여 해결가능 구글드라이브 휴지통비우기 from pydrive.auth import GoogleAuth from pydrive.drive import GoogleDrive from google.colab import auth from oauth2client.client import GoogleCredentials auth.authenticate_user() gauth = GoogleAuth() gauth.credentials = GoogleCredentials.get_application_default() my_drive = GoogleDrive(gauth) while True: for a_file in my_drive.ListFile({'q': "trashed = true"}).GetList(): # print the name of the .. colab 자동끊김 방지 colab 무료버전을 사용할경우 interaction이 90분쯤 없으면 학습을 돌리고 있어도 연결이 끊기는 현상이 발생하는데 아래코드로 해결가능! 크롬창에서 f12 을 누르면 개발자도구 콘솔에 들어가서 아래그림의 빨간부분에 아래의 코드를 붙여넣기하고 엔터치면 끝! 1분마다 interaction action을 하게됩니다. 이거하더라도 무조건적인건 아니고... 가끔 끊기기도 합니다. 구글드라이브에 마운트해서 체크포인트를 구글드라이브내에 path를 지정하면 도중에 끊기더라도 작업한 내용이 저장되게 할수 있습니다. 무료로 쓰시는분들 참고하세요. function ClickConnect() {var buttons = document.querySelectorAll("colab-dialog.yes-no-dialog p.. object-detection-api활용시 주의할점 aribnb 클론 프로젝트 진행중에 데이터셋을 tf_record를 만들어주는 과정중에 맞닥뜨린 에러의 해결방법을 기록하려고합니다.(이거 때문에 골머리 아팠어서...) 일단 tensorflow 2.0버전이상부터는 tf.gfile~ 형식이 tf.io.gfile형식으로 변경됐는데 이게 내가 따로 설치한 object-detection-api 안에 label_map_util.py 파일안에 형식도 1.x 형식으로 돼있어서 그 파일안에 코드도 조금 수정해줘야 합니다. 직접 짠 스크립트 안에 코드와 마찬가지로 util 파일안에 코드도 변경해주고 tf_record_creation_util.py파일안에 코드도 tf.python_io.~~ --->> tf.compat.v1.python_io.~~ 로 바꿔줘야합니다 내가 짠 .. Precision,Recall, F1(TP,TN,FP,FN)쉽게 이해하기 TP = True Positive TN = True Negative FP = False Positive FN = False Negative 헷갈리스는 분들을 위해 쉽게 설명해보려고 합니다 TP 는 True Positive라고 되있는데 무슨말이냐 positive 라고 예상했는데 True 맞았다 입니다 예를들면 강아지그림을 보고 컴퓨터가 강아지그림을 보고 강아지인지 예측했고 그 결과가 맞았다입니다. FP 는 positive라고 예상했는데 False 틀렸다입니다. 예를들면 강아지그림을 보고 컴퓨터가 강아지인지 예측했는데 결과는 아닌것입니다. TN 은 같은 맥락으로 강아지 그림을 보고 아니라고 예측했는데 강아지그림이었던거죠? FN 은 강아지그림을 보고 아니라고 예측했는데 아닌거죠 이 네가지개념을 인지 이해했다면.. Learning rate 설정 이 포스트는 어른이 프로그래머님의 포스트를 참고하여 작성된 글입니다. 이미지 분류 프로젝트를 진행하다가 VGG16 모델을 접하게 되었고 그때 당시에는 원작자가 설정한 learning rate 를 그대로 가져와 쓰기에 바빴다. learning rate에 대해서 무엇인지 제대로 알지도 못했던 나는 추후를 위해 확실히 알고 넘어가기로 했다. learning rate란 과연 무엇인지 알아보자. learning rate란 학습률이다. 컴퓨터는 경사하강법으로 최적의 값을 찾아낸다. 수식으로 나타내면 쉽게 설명하자면 위 그림에서 잠과 점으로 이동할때 얼마나 많이 이동할것인가 이다. 보통 0,01로 설정후 overshooting 이 일어나면 줄이고 학습속도가 너무느리면 올리는 방식으로 조정한다. 여기서 overshoo.. Scikit-learn 주요모듈 모듈 설명 sklearn.datasets 내장된 예제 데이터 세트 sklearn.preprocessing 다양한 데이터 전처리 기능 제공 (변환, 정규화, 스케일링 등) sklearn.feature_selection 특징(feature)를 선택할 수 있는 기능 제공 sklearn.feature_extraction 특징(feature) 추출에 사용 sklearn.decomposition 차원 축소 관련 알고리즘 지원 (PCA, NMF, Truncated SVD 등) sklearn.model_selection 교차 검증을 위해 데이터를 학습/테스트용으로 분리, 최적 파라미터를 추출하는 API 제공 (GridSearch 등) sklearn.metrics 분류, 회귀, 클러스터링, Pairwise에 대한 다양한.. 이전 1 2 다음
