You Can Become A

Progra

늦게 시작해도 누구든지 노력하면 개발자가 될수 있어요 !

aws 로그

공부한 내용을 정리합니다

Athena

[AWS] 📚 Glue Crawler로 테이블 만들고 Athena로 조회하기

Glue Crawler로 S3 스키마 생성 지난 포스팅에서는 csv파일을 S3에 업로드하고 Athena에서 직접 테이블 쿼리문을 실행하여 수동으로 만들어 조회하는 시간을 가져보았다. 이번에는 AWS Glue 서비스가 제공하는 Glue Crawler를 사용해 S3의 데이터를 스캔하고 자동으로 데이터베이스와 테이블을 만들어주는 서비스를 이용해 Athena로 조회해보는 시간을 가져볼 것이다. Glue 크롤러로 파일을 데이터베이스로 변환하기 위해선 당연히 대상으로 하고 메타 테이블을 생성할 데이터 소스가 필요하다. RDS, S3, DynamoDB 등 AWS의 데이터 저장소 뿐만 아니라 JDBC를 지원하는 DB, file 등등 거의 모든 형태의 데이터 저장소에 있는 파일을 이용해 크롤러가 가능하다. 이번 강의에서..

인파_

2022.08.09

(0)

Athena

[AWS] 📚 Athena 사용법 정리 (S3에 저장된 로그 쿼리하기)

AWS Athena 서비스 S3 Athena는 S3에 저장된 데이터를 SQL 언어로 조회할 수 있는 대화식 서비스이다. 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있고 몇 초 안에 대용량을 데이터를 조회해 검색 결과를 얻을 수 있다. 보통 로그같은 대규모 데이터는 EBS나 ElasticSearch 등에 적재하기에는 많은 비용이 발생하기 때문에, S3와 같은 저렴한 스토리지에 저장하게 된다. 하지만 로그를 가져올 때 조건을 거는 부분과 많은 양의 압축된 로그 파일을 로드하고 압축을 푸는데 시간이 너무 많이 소요되는 문제가 생긴다. 따라서 이러한 문제들을 해결해줄수 있는 서비스가 Athena(아테나)이다. Athena(아테나)에 데이터가 저장되어있는 S3를 설정해주고 테이블..

인파_

2022.08.08

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

You Can Become A

Progra

aws 로그

[AWS] 📚 Glue Crawler로 테이블 만들고 Athena로 조회하기

인파_

[AWS] 📚 Athena 사용법 정리 (S3에 저장된 로그 쿼리하기)

인파_

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역