전체 글
-
플레이데이터 데이터 엔지니어링 31기 7주차 회고데이터 분석 공부/회고 2024. 5. 20. 00:26
1) 전반적인 느낀 점 (일주일 동안 한 일)본격적으로 딥러닝에 대해 배웠다. 코랩 혹은 WSL & 주피터 노트북을 활용하여 GPU를 사용하는 방법부터 시작해, RNN(순환 신경망)에 대해 학습했다. RNN으로는 주로 시계열 텍스트 데이터를 분석하는데, 전 회사에 다닐 때 했던 리뷰 크롤링 & 감성 분석 프로젝트가 바로 Recurrent Neural Network에 속한다. 물론 그 당시엔 텍스트 분석을 위해 데이터를 임베딩 벡터로 넣어야 한다든지, 신경망이 순환 형식으로 사용된다든지, 활성화 함수로 tanh를 많이 사용한다는 내용 같은 건 전혀 알지 못했다. 지금도 희미한 개념 정도를 이제 겨우 알게 된 수준이겠지만, 어쨌든 konlpy 같은 형태소 분석기도 다시 보니 정말 반가웠다! -------..
-
[SQL][해커랭크] Draw The Triangle 1 / SET @, REPEAT데이터 분석 공부/SQL 2024. 5. 17. 12:52
https://www.hackerrank.com/challenges/draw-the-triangle-1/problem?isFullScreen=true Draw The Triangle 1 | HackerRankDraw the triangle pattern using asterisks.www.hackerrank.com 문제P(R) represents a pattern drawn by Julia in R rows. The following pattern represents P(5):* * * * * * * * * * * * * * *Write a query to print the pattern P(20). 풀이 SET @NUMBER = 21;SELECT REPEAT('* ', @NUMBER := @NUMBER..
-
활성화 함수 개념과 특징 (시그모이드, 소프트맥스, 렐루)데이터 분석 공부/ML 2024. 5. 14. 17:05
딥러닝 신경망의 기초 개념 중 하나인 활성화 함수에 대해 알아보고,대표적인 활성화 함수의 종류와 특징에 대해 정리해보았습니다. 활성화 함수란? 입력 신호의 총합을 출력 신호로 변환하는 함수입니다.선형의 값이 활성화 함수를 통과하면 비선형으로 변하게 되는데요. 딥러닝의 핵심이라고도 할 수 있는 은닉층(Hidden Layer)에서 선형적인 산술 계산만 수행한다면수행 역할이 없는 셈이 되므로 선형 계산을 적당하게 비선형적으로 비틀어 주어야 합니다.그래야 다음 층의 계산과 단순히 합쳐지지 않고 나름의 역할을 할 수 있기 때문입니다. 활성화 함수의 종류(1) 시그모이드 시그모이드 함수는 실수 범위의 입력을 (0, 1) 사이의 값으로 압축하는 비선형 함수입니다. - 주로 이진 분류 문제에서 사용되며, 로지스틱 함..
-
[SQL][해커랭크] The PADS / 문자열 출력데이터 분석 공부/SQL 2024. 5. 14. 16:37
https://www.hackerrank.com/challenges/the-pads/problem?isFullScreen=true The PADS | HackerRankQuery the name and abbreviated occupation for each person in OCCUPATIONS.www.hackerrank.com 이 문제는 크게 두 쿼리로 나누어서 풀게 되어 있습니다. 쿼리 1 ) 사람이름(직업의 첫글자 따오기) 쿼리 2 ) 직업 별로 몇 명의 사람이 있는지 카운트하여 문장과 함께 출력하기 [ Output ]Your Output (stdout)Aamina(D)Ashley(P)Belvet(P)Britney(P)Christeen(S)Eve(A)Jane(S)Jennifer(A)Jenny(S..
-
[SQL][해커랭크] weather observation station 9, 10 / 정규표현식, 와일드카드데이터 분석 공부/SQL 2024. 5. 13. 12:24
https://www.hackerrank.com/challenges/weather-observation-station-9/problem?isFullScreen=true Weather Observation Station 9 | HackerRankQuery an alphabetically ordered list of CITY names not starting with vowels.www.hackerrank.com 모음으로 시작하지 않는 CITY 명을 중복 없이 추출해야 하는 문제입니다. 풀이 1 ) % 와일드카드 사용하기SELECT DISTINCT CITY FROM STATION WHERE CITY not like 'a%'AND CITY not like 'e%'AND CITY not like 'i%'AND..
-
플레이데이터 데이터 엔지니어링 31기 6주차 회고데이터 분석 공부/회고 2024. 5. 12. 23:32
1) 전반적인 느낀 점 (일주일 동안 한 일)이번 주에는 이론으로는 딥러닝을,실습으로는 에어플로우 위주로 많이 배웠다. 딥러닝의 개요 텐서플로우, 퍼셉트론, 심층신경망(입력층, 은닉층, 출력층), 활성화 함수,손실 함수, 옵티마이저(경사하강법 알고리즘), 검증손실, 드롭아웃, 콜백함수, Early Stopping 비지도학습 K-means 군집 알고리즘(엘보우, 이너셔(inertia)), 실루엣 분석 군집 평가,주성분 분석(PCA: Principla Component Analysis) 차원 축소 알고리즘 (공분산 행렬, 고유값 분해, 고유벡터, 고유값) CNN (Convolutional Neural Networks, 합성곱 신경망)커널(필터 : 입력 데이터와 합성곱 연산을 수행하게 되는 행렬), 특성 맵..
-
태블로 INCLUDE , DATEPART, COUNTD 함수 알아보기데이터 분석 공부/Tableau 2024. 5. 12. 19:31
가지고 있는 데이터가 2017, 2018, 2019년의 매출 데이터이고연도에 상관없이 월별 평균 매출을 구해보려고 합니다. 계산된 필드에서 아래 수식을 활용했습니다. ROUND(AVG({ INCLUDE DATEPART('year', [Order purchase timestamp]):COUNTD([Order id]) })) 이 태블로 수식은 주문 구매 타임스탬프의 연도를 기준으로 주문 ID의 개수를 계산하고, 그것의 평균을 구합니다. 여기서 ROUND 함수는 소수점 이하를 반올림하고, AVG 함수는 주어진 집계값의 평균을 계산합니다. 즉, 각 연도별 주문 ID의 개수를 평균한 값이 출력됩니다. 먼저 요약하자면DATEPART 함수로 연도 기준의 데이터를 지정하고,INCLUDE 절로 미리 정의한 차원의 범위..
-
로깅 logging 시스템 생성 , 로그 메시지 기록하기데이터 분석 공부/파이썬 데이터 분석 2024. 5. 10. 17:49
import logging 을 통해 로거를 사용하여 로그 메시지를 기록할 수 있습니다.아래와 같이 기본적인 로깅 시스템을 만들어 봅니다. # 로깅 시스템 만들기logging.Formatter를 통해 로그 메시지가 기록되는 형식을 지정해줄 수 있습니다.Handler 옵션을 통해 로그 메시지를 효과적으로 관리할 수 있도록, 콘솔과 파일 영역을 구분합니다. # 로그 생성logger = logging.getLogger()logger.setLevel(logging.INFO)formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')# consoles_handler = logging.StreamHandler()s_hand..