Airflow
-
[프로젝트] 전력수급현황 데이터 ETL 파이프라인 구축 및 분석 (Hadoop, Spark, Airflow)데이터 분석 공부/회고 2024. 7. 5. 10:25
Github 주소 : https://github.com/pladata-encore/DE31-3rd_team6 GitHub - pladata-encore/DE31-3rd_team6Contribute to pladata-encore/DE31-3rd_team6 development by creating an account on GitHub.github.com 1. 주제전력수급현황 데이터 ETL 파이프라인 구축 및 분석 1) 목표- 수업 시간에 배운 도구를 활용하여, 데이터 수집부터 시각화까지 전체적인 데이터 플로우를 확인하고, 파이프라인 구축을 목표로 함.- 전력수급 데이터를 효율적으로 수집, 저장, 분석하여 전력기획팀의 중장기적인 전략 수립과 의사결정을 지원- 전력수급 트렌드를 시간별, 월별, 연도별 분석 ..
-
코드 실행 자동화 툴 에어플로우 airflow 설치하기데이터 분석 공부 2024. 5. 7. 16:49
정기적으로 실행해야 하는 코드를 매번 수기로 실행하면 너무 번거롭습니다.이럴 때 사용할 수 있는 툴로 최근 기업에서도 많이 요구하고 있는 airflow 활용을 위해, 오늘은 그 설치 과정을 포스팅합니다. 별도의 설치 없이 사용할 수 있는 명령어로는 크론탭이 있지만, 크론탭은 좀 올드패션 느낌이고, 에어플로우로 작업 관리 하는 경우가 요즘은 더 많다고 하네요. crontab -e 크론탭 실행 명령어는 아주 간단하게만 배우고 넘어갔습니다. # 주기 설정- 다섯개의 별은 각각 분(0-59)/시간(0-23)/일/월/요일(0-7) 을 의미 매분 test.sh 실행*****/home/script/test.sh매 10분마다 실행/10 * * * * /home/script/test.sh매주 금요일 오전 5시 45분..