카테고리 없음

aws lambda로 s3의 데이터셋을 mongodb에 넣기

Neda 2023. 5. 1. 17:28

1. 지진 데이터 수집하기

-> s3에 업로드 -> 트리거로 lambda 실행 -> excel 파일 parsing해서  mongodb에 저장

  1. 날씨 누리에서 데이터 다운로드 
  2. s3의 파일을 읽어서 mongodb로 전달하는 lambda 함수 생성
  3. s3 파일 업로드 하면 트리거로 lambda 함수 자동 실행, 데이터 저장
  4. mongo 결과 확인

 

1.1 데이터 다운로드

 

국내지진조회 - 기상청 날씨누리

개편된 날씨누리 홈페이지 첫 화면에서 지도를 통한 실시간 기상정보와 레이더영상, 전국 특보 현황을 조회할 수 있으며, 내 지역의 현재 기상상황과 대기질 상태, 일출/일몰 시각을 확인할 수

www.weather.go.kr

데이터 출처: 기상청 날씨누리

 

 

 

1.2 lambda 함수 만들기

 

1.3 s3에 파일 업로드하기

 

1.4 lambda 함수로 mongodb에 넣기

 

1.5 결과 확인