You Can Become A
늦게 시작해도 누구든지 노력하면 개발자가 될수 있어요 !
[AWS] 📚 Athena 사용법 정리 (S3에 저장된 로그 쿼리하기)
AWS Athena 서비스 S3 Athena는 S3에 저장된 데이터를 SQL 언어로 조회할 수 있는 대화식 서비스이다. 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있고 몇 초 안에 대용량을 데이터를 조회해 검색 결과를 얻을 수 있다. 보통 로그같은 대규모 데이터는 EBS나 ElasticSearch 등에 적재하기에는 많은 비용이 발생하기 때문에, S3와 같은 저렴한 스토리지에 저장하게 된다. 하지만 로그를 가져올 때 조건을 거는 부분과 많은 양의 압축된 로그 파일을 로드하고 압축을 푸는데 시간이 너무 많이 소요되는 문제가 생긴다. 따라서 이러한 문제들을 해결해줄수 있는 서비스가 Athena(아테나)이다. Athena(아테나)에 데이터가 저장되어있는 S3를 설정해주고 테이블..
[AWS] 📚 ELB(ALB) 로그 활성화 & S3에 로그 저장하기
ALB Access Log ALB Access Log는 말 그대로 단순 트래픽 로그다. 로드밸런서 DNS를 통해 사용자들이 로드밸런서를 경유해 인스턴스로 접속할때 기록된다. 이 로그를 통해 ELB-respose, Target-response, Client, 접근 경로 등을 알 수 있어서, 클라우드 환경에서 서비스를 올린다면 자주 접해야 하는 로그이다. 하지만 Access Log를 통해 Client의 요청이 어디까지 도달했는지, 무슨 에러를 뱉었는지, 어떤 요청을 했을 때 어떤 반응을 보였는지 ..등 대략적인 추측이 가능하나, 정확한 점검을 위해선 어플리케이션 점검이 필수적이다. ALB Access Log 특징으로는 다음과 같다. Timstamp는 UTC 기준 : KST 기준이 아니므로 특정 시간대의 트래..