분류 전체보기
-
플레이데이터 데이터 엔지니어링 31기 5주차 회고데이터 분석 공부/회고 2024. 5. 6. 22:58
1) 전반적인 느낀 점 (일주일 동안 한 일)- 자료구조ㄴ선형 자료구조 : Linked List 를 중점적으로 배웠다. 직접 코드를 짜면서 어떻게 실행되는지 알게 되었다. 그 외 스택, 큐가 선형 자료구조에 속한다.ㄴ비선형 자료구조 : 트리, 그래프가 이에 속한다. Decision Tree 알고리즘과 연결되는 이진 트리 구조에 대해 배웠다. - 예측 클래스예측 클래스는 TN / FP / FN / TP 네 영역으로 구성된다. 정확도 = 정밀도 / 재현도 라는 두 관점으로 나누어 볼 수 있음을 배웠다. 둘 중 어떤 관점에서 볼 것인지를 염두에 두어야 하고, 이에 따라 Precision Recall Curve, F1 스코어, ROC AUC 값 등 여러 지표를 확인할 수 있다. - 머신러닝 모델 전처리 ~ 학습..
-
플레이데이터 데이터 엔지니어링 31기 4주차 회고데이터 분석 공부/회고 2024. 4. 28. 23:51
1) 전반적인 느낀 점 (일주일 동안 한 일)정말.. 정말 많은 것을 배웠다. - 상관분석- 회귀분석 : 단순선형회귀, 다중선형회귀, 로지스틱회귀, 계수축소법 - 통계의 기초 : 정규분포, 표준정규분포, 카이제곱분포, t분포 - 장고 (django) : 간단한 웹 서비스 & 머신러닝 모델 서빙하기 - 머신러닝 전처리 ~ 학습 통계라고는 여론조사 관련 전공 수업에서 들은 95% 신뢰도 어쩌고.. 밖에 기억이 안 나는데 (그조차 들은 기억만 남)통계 수업의 속도감이 꽤나 빨라서 따라가는 데 애를 먹었다. 2) 좋았던 점 (좋았거나 내가 잘했던 점)데이콘에서 하는 이커머스 비즈니스 KPI 선정 대회에 나갈 팀원들을 모집했고 킥오프 미팅 후에, 데이터 탐색 및 EDA를 시작했다. KPI 도출 비..
-
이상치 아웃라이어 Outlier 전처리 (ft. load_wine 와인 데이터셋 불러오기)데이터 분석 공부/파이썬 데이터 분석 2024. 4. 26. 14:01
사이킷 런 패키지 안에 포함되어 있을 정도로 유명한 와인 데이터 셋을 가지고 실습을 했다.다만 데이터가 데이터프레임 형식으로 불러와지는 것이 아니기 때문에,wine_load.data , wind_load.feature_names 를 선택해서 데이터프레임화 해 주어야 한다!from sklearn.datasets import load_winewine_load = load_wine()wine = pd.DataFrame(wine_load.data, columns=wine_load.feature_names) 그리고 아웃라이어 실습만 할 거라면 굳이 필요 없지만,y값(정답값, 타겟값)에 해당하는 wine.target 을 가져와서 컬럼에 붙여주는 방법도 배웠다. # 1단계# 타겟값 확인 -> 0, 1, 2 다중 분류..
-
시계열 분석에서 자주 쓰는 판다스 기초 함수데이터 분석 공부/파이썬 데이터 분석 2024. 4. 26. 12:42
Date 컬럼 관련 함수 date 컬럼 날짜형식 변환기본적으로 날짜도 문자열로 인식하기 때문에 to_datetime 을 통해 시간 객체로 변환을 먼저 해 주어야 한다. 많이 쓰므로 중요함 !!!! df['Date2']= pd.to_datetime(df['Order Date'], format="%d/%m/%Y", infer_datetime_format=True) 지정된 기간 내의 일련의 날짜를 생성하는 함수세번째 옵션 freq= 를 통해 매 월요일, 매월 말일 등만 선택해서 생성할 수도 있다. pd.date_range('2020-01-01', '2023-12-31') 현재 위치의 요일 기준 확인하기 (일~월 / 월~일)# 수요일 = 2 이므로 한국 현재는 월~일 형식 사용 중임을 알 수 있음import d..
-
mysql start 시 cannot change directory to /nonexistent: No such file or directory 오류 해결데이터 분석 공부/SQL 2024. 4. 22. 15:02
오류 상황 root@LAPTOP-VJDJ5BIJ:~/workspace# service mysql start * Starting MySQL database server mysqld su: warning: cannot change directory to /nonexistent: No such file or directory 오류 원인 : Windows에 MySQL 워크벤치를 기설치하였고, 우분투(WSL) 서버에서 MySQL Server에 접속하려고 하였더니 윈도우와 WSL에서 같은 포트를 사용하려고 했기 때문에 서버 내에서 SQL이 실행되지 않음. 오류 해결 방법 : 우분투 WSL에 MySQL 실행 시 기본적으로 127.0.0.1 주소에 포트 번호 3306으로 접속하게 되어 있는데, 접속 포트 번호를 330..
-
Python matplotlib 파이썬 시각화 한글 폰트 깨질 때 (하라는 대로 다 했는데도 안 될 때! cache 파일을 삭제하세요)데이터 분석 공부/파이썬 데이터 분석 2024. 4. 19. 20:46
파이썬에서 plt, 즉 matplotlib 과 같은 시각화 라이브러리를 활용하다가 한글이 깨질 때 문제 해결 방법입니다. 기본적으로 한글 폰트를 가져오는 코드를 여럿 실행해 보았지만 아무리 해도 한글이 정상 출력되지 않았어요. 아래처럼 진짜 코드한테 눈앞에 폰트 경로를 떠다 먹여줘도 안 먹는 겁니다... from matplotlib import font_manager, rc font_path = "/usr/share/fonts/truetype/nanum/NanumGothic.ttf" font_name = font_manager.FontProperties(fname = font_path).get_name() rc('font', family=font_name) 그래서 font_manager 내장함수를 통해 ..
-
플레이데이터 데이터 엔지니어링 31기 3주차 회고데이터 분석 공부/파이썬 데이터 분석 2024. 4. 19. 20:25
1) 전반적인 느낀 점 (일주일 동안 한 일) 월~화에는 SQL을 학습하고, 이를 python 환경과 병용하며 데이터를 다루는 연습을 했다. SQL은 SQL, 파이썬은 파이썬, 태블로는 태블로! 이렇게 언어나 툴 간의 연계를 해 본 적이 없어서 구분해서 생각했었는데, 이번 주 수업과 실습, 그리고 프로젝트를 통해 내 세계관이 확장되는 듯한 느낌마저 들었다. 수~금은 3일동안 데이터 전처리~시각화에 집중한 분석 프로젝트를 진행했다. 팀 선택부터 주제 선정까지 많은 고민이 있었는데, 결과적으로는 새로운 것들을 실험해보면서도 수업시간에 배운 내용을 효과적으로 연습해 볼 수 있는 좋은 기회였다. 처음으로 미니 프로젝트를 진행한 주차인데, 생각보다 더 재미있었다. 다른 팀들의 주제와 분석 방법, 결과물을 보는 것..
-
git 으로 팀 프로젝트하기 - add, commit, push, checkout, status데이터 분석 공부/파이썬 데이터 분석 2024. 4. 18. 20:36
개발 언어로 팀 프로젝트를 처음 하면서 git도 처음으로 사용해 보게 되었다. 아직 git이 돌아가는 원리를 잘 모르겠어서 알려주시는대로만 명령어를 따라 치는 수준인데, 이것도 하다 보니 조금씩 익숙해지고 있어서 신기하다. 내일은 깃 특강을 들을 예정이라, 좀 더 정리해서 올려봐야지! 터미널에서 본인의 팀 폴더로 이동하여 시작한다. 주의할 점은 main branch에서 작업하지 말고, 꼭 개개인의 브랜치 안에서 작업하기! git status 확인을 생활화하게 됐다. ((이래놓고 프로젝트 마지막 날 main에서 커밋해서 꼬여버림 ^^...ㅠ)) 메인 브랜치로 이동하기 : git checkout main 메인에서 취합 파일 가져오기 : pull 브랜치로 이동하기 : git checkout [브랜치명] 내가 ..