플레이데이터 데이터 엔지니어링 31기 14주차 회고

1) 전반적인 느낀 점 (일주일 동안 한 일)

오랜만에 작성하는 회고...!

그동안 채용공고 올라온 것 몇 군데 지원하려고 포트폴리오, 자기소개서 작업도 했고 

하둡, 스파크, 카프카 구축 위주로 진도 나가느라 딱히 블로그에 정리해서 올리지는 않았네요.

 

이번 주에는 그 동안 배운 분산 처리 클러스터링 실습해볼 수 있는 미니 프로젝트 주간이어서 

전력수급현황 데이터 ETL 파이프라인 구축 및 분석을 주제로 3일간 프로젝트를 진행했습니다.

 

이번에는 미루지 않고 바로바로 정리까지 완료해서 링크도 첨부합니다 :) 

[프로젝트] 전력수급현황 데이터 ETL 파이프라인 구축 및 분석 (Hadoop, Spark, Airflow)

 

지난 프로젝트도 뒤늦게나마 정리를 해서 같이 올렸습니다 허헛

[프로젝트] 서울시 지역별 한식당 창업 성공 예측 모델 (ML 예측 모델 구현)

 

2) 좋았던 점 (좋았거나 내가 잘했던 점)

수업 시간에 배운 기술 스택을 다시 사용해 보면서 복습에 충실할 수 있었던 시간이었습니다.

Airflow, Hadoop, Spark + DB 구축까지 해 보았고, 지난 프로젝트에 이어 Tableau도 간단하게나마 구현했습니다.

 

이번 팀에서는 3일의 기간 동안 하루하루 어떤 작업을 할 것인지 계획하고 그 계획을 모두 차근차근 실행했던 점이 만족스러웠습니다!

 

3) 아쉬웠던 점

저를 포함해 3명의 팀원이 프로젝트원으로 참여하면서 타 팀 대비 파이프라인 구축에 대부분의 시간을 들이게 됐습니다.

리소스 자체가 부족하다보니 ETL 파이프라인 구축 이후의 분석이라든가 장고를 활용한 웹 서버 구현까지는 못해서 조금 아쉽습니다. 

 

4) 개선할 점

다음 주부터 배울 스프링 부트 잘 배워서 API와 익숙해지고,

웹 프레임워크도 좀 더 익숙해져서 다음 프로젝트 때는 웹 구현까지 욕심내 보고 싶습니다. 
어쨌든 보여지는 것이 있어야 의미가 확실히 있는 것 같아요. 

 

5) 다음 주 계획

- 스프링 부트 학습

- 데이터리안 SQL 심화반 수강 및 과제 수행