์ธํŒŒ

You Can Become A

Progra

๋Šฆ๊ฒŒ ์‹œ์ž‘ํ•ด๋„ ๋ˆ„๊ตฌ๋“ ์ง€ ๋…ธ๋ ฅํ•˜๋ฉด ๊ฐœ๋ฐœ์ž๊ฐ€ ๋ ์ˆ˜ ์žˆ์–ด์š” !

aws ๋กœ๊ทธ

๊ณต๋ถ€ํ•œ ๋‚ด์šฉ์„ ์ •๋ฆฌํ•ฉ๋‹ˆ๋‹ค
Athena

[AWS] ๐Ÿ“š Glue Crawler๋กœ ํ…Œ์ด๋ธ” ๋งŒ๋“ค๊ณ  Athena๋กœ ์กฐํšŒํ•˜๊ธฐ

Glue Crawler๋กœ S3 ์Šคํ‚ค๋งˆ ์ƒ์„ฑ ์ง€๋‚œ ํฌ์ŠคํŒ…์—์„œ๋Š” csvํŒŒ์ผ์„ S3์— ์—…๋กœ๋“œํ•˜๊ณ  Athena์—์„œ ์ง์ ‘ ํ…Œ์ด๋ธ” ์ฟผ๋ฆฌ๋ฌธ์„ ์‹คํ–‰ํ•˜์—ฌ ์ˆ˜๋™์œผ๋กœ ๋งŒ๋“ค์–ด ์กฐํšŒํ•˜๋Š” ์‹œ๊ฐ„์„ ๊ฐ€์ ธ๋ณด์•˜๋‹ค. ์ด๋ฒˆ์—๋Š” AWS Glue ์„œ๋น„์Šค๊ฐ€ ์ œ๊ณตํ•˜๋Š” Glue Crawler๋ฅผ ์‚ฌ์šฉํ•ด S3์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์Šค์บ”ํ•˜๊ณ  ์ž๋™์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์™€ ํ…Œ์ด๋ธ”์„ ๋งŒ๋“ค์–ด์ฃผ๋Š” ์„œ๋น„์Šค๋ฅผ ์ด์šฉํ•ด Athena๋กœ ์กฐํšŒํ•ด๋ณด๋Š” ์‹œ๊ฐ„์„ ๊ฐ€์ ธ๋ณผ ๊ฒƒ์ด๋‹ค. Glue ํฌ๋กค๋Ÿฌ๋กœ ํŒŒ์ผ์„ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋กœ ๋ณ€ํ™˜ํ•˜๊ธฐ ์œ„ํ•ด์„  ๋‹น์—ฐํžˆ ๋Œ€์ƒ์œผ๋กœ ํ•˜๊ณ  ๋ฉ”ํƒ€ ํ…Œ์ด๋ธ”์„ ์ƒ์„ฑํ•  ๋ฐ์ดํ„ฐ ์†Œ์Šค๊ฐ€ ํ•„์š”ํ•˜๋‹ค. RDS, S3, DynamoDB ๋“ฑ AWS์˜ ๋ฐ์ดํ„ฐ ์ €์žฅ์†Œ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ JDBC๋ฅผ ์ง€์›ํ•˜๋Š” DB, file ๋“ฑ๋“ฑ ๊ฑฐ์˜ ๋ชจ๋“  ํ˜•ํƒœ์˜ ๋ฐ์ดํ„ฐ ์ €์žฅ์†Œ์— ์žˆ๋Š” ํŒŒ์ผ์„ ์ด์šฉํ•ด ํฌ๋กค๋Ÿฌ๊ฐ€ ๊ฐ€๋Šฅํ•˜๋‹ค. ์ด๋ฒˆ ๊ฐ•์˜์—์„œ..

category_image
์ธํŒŒ_
2022.08.09
(0)
Athena

[AWS] ๐Ÿ“š Athena ์‚ฌ์šฉ๋ฒ• ์ •๋ฆฌ (S3์— ์ €์žฅ๋œ ๋กœ๊ทธ ์ฟผ๋ฆฌํ•˜๊ธฐ)

AWS Athena ์„œ๋น„์Šค S3 Athena๋Š” S3์— ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ๋ฅผ SQL ์–ธ์–ด๋กœ ์กฐํšŒํ•  ์ˆ˜ ์žˆ๋Š” ๋Œ€ํ™”์‹ ์„œ๋น„์Šค์ด๋‹ค. ํ‘œ์ค€ SQL์„ ์‚ฌ์šฉํ•ด Amazon S3์— ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ„ํŽธํ•˜๊ฒŒ ๋ถ„์„ํ•  ์ˆ˜ ์žˆ๊ณ  ๋ช‡ ์ดˆ ์•ˆ์— ๋Œ€์šฉ๋Ÿ‰์„ ๋ฐ์ดํ„ฐ๋ฅผ ์กฐํšŒํ•ด ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ๋‹ค. ๋ณดํ†ต ๋กœ๊ทธ๊ฐ™์€ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ๋Š” EBS๋‚˜ ElasticSearch ๋“ฑ์— ์ ์žฌํ•˜๊ธฐ์—๋Š” ๋งŽ์€ ๋น„์šฉ์ด ๋ฐœ์ƒํ•˜๊ธฐ ๋•Œ๋ฌธ์—, S3์™€ ๊ฐ™์€ ์ €๋ ดํ•œ ์Šคํ† ๋ฆฌ์ง€์— ์ €์žฅํ•˜๊ฒŒ ๋œ๋‹ค. ํ•˜์ง€๋งŒ ๋กœ๊ทธ๋ฅผ ๊ฐ€์ ธ์˜ฌ ๋•Œ ์กฐ๊ฑด์„ ๊ฑฐ๋Š” ๋ถ€๋ถ„๊ณผ ๋งŽ์€ ์–‘์˜ ์••์ถ•๋œ ๋กœ๊ทธ ํŒŒ์ผ์„ ๋กœ๋“œํ•˜๊ณ  ์••์ถ•์„ ํ‘ธ๋Š”๋ฐ ์‹œ๊ฐ„์ด ๋„ˆ๋ฌด ๋งŽ์ด ์†Œ์š”๋˜๋Š” ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธด๋‹ค. ๋”ฐ๋ผ์„œ ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋“ค์„ ํ•ด๊ฒฐํ•ด์ค„์ˆ˜ ์žˆ๋Š” ์„œ๋น„์Šค๊ฐ€ Athena(์•„ํ…Œ๋‚˜)์ด๋‹ค. Athena(์•„ํ…Œ๋‚˜)์— ๋ฐ์ดํ„ฐ๊ฐ€ ์ €์žฅ๋˜์–ด์žˆ๋Š” S3๋ฅผ ์„ค์ •ํ•ด์ฃผ๊ณ  ํ…Œ์ด๋ธ”..

category_image
์ธํŒŒ_
2022.08.08
1