S3를 DB처럼 SQL로 조회할 수 있다고? - Amazon Athena로 S3에 저장된 로그 쿼리하기

[@201-k6s]

좋은 강의 감사합니다!

[@namucho266]

우와 이렇게 좋은 강의를 올려주시다니 감사합니다!

[@팜에어]

감사합니다.

[@승록이-q5z]

감사합니다 :)

[@REN-ie8lq]

좋은 강의 감사합니다. 올려주신 예제로 봤을떄 S3 select 쿼리라는 기능이 athena랑 결과상 크게 차이가 없어보이는데 선생님께서 보시기엔 어떤 차이가 있을까요?

[@AWSClassroom]

S3 select와 Athena는 완전히 다른 서비스입니다. S3 select는 하나의 객체의 일부분을 조회할 수 있는 서비스입니다. 예를 들어 5tb 사이즈의 csv 파일을 s3에 저장했고 그 일부분만 필요하다면 5tb를 모두 다운로드 받는 대신 파일의 일부분만 조회 할 수 있는 서비스입니다. Athena는 아시다시피 다수의 파일을들 종합해서 조회하고 분석, 처리하는 서비스입니다. 사용 사례와 적용 방법도 많이 다르지요

[@REN-ie8lq]

@@AWSClassroom 답변 감사합니다~

[@정윤성-e4s]

1.Athena에서 join, subquery, 집계함수 등의 기능을 이용할 수 있나요? 2.Athena가 read만 가능하고 create/update/delete는 불가능하다는 말을 들었는데 s3에 대해 데이터갱신이 필요한 곳에서는 사용하기가 힘들까요?

[@AWSClassroom]

Athena 는 db 가 아닙니다. Delete update는 불가능합니다. Join도 불가능하나 count등의 함수등은 사용 가능합니다.

[@namucho266]

퀵사이트 시각화 강의는 아직 안 업로드 된 걸까요?

[@AWSClassroom]

네 아직 안되어있습니다. 조만간에 올릴게요!

[@chan9334]

너무 유익한 수업입니다..! S3에 있는 csv로 athena로 연결했는데, 다시 실행을 누르니까 null 값으로 바뀌었어요.... 어떤 문제일까요 ㅠ

[@AWSClassroom]

어..저도 왜그런지 모르겠네요. 조금 더 자세한 상황이 필요합니다.

[@chan9334]

@@AWSClassroom 제가 답변을 너무 늦게 봤네요 ㅠ 컬럼 갯수가 30 개 정도이고, 150만 행 정도 되는 CSV 파일을 S3 버킷 안에 넣고, GLUE 크롤러로 테이블 형식으로 변경한 후 Athena에서 읽었습니다. 처음 실행할 때는 전부 행이 표시되었는데, 다시 실행을 누르니 일부 값을 제외하고 전부 null 값으로 바뀌어 버렸습니다.ㅠ athena 실행 후에 생성되는 파일들을 전부 지워주고 실행을 하면, 다시 전부 행이 표시됩니다...

[@AWSClassroom]

@@chan9334 해당 파일이 단일 파일인가요? 파티션은 하셨나요?

[@chan9334]

@@AWSClassroom 해당 파일은 단일 파일입니다.ㅠ 파티션은 잘 모르겠습니다... glue에서 데이터 소스 입력하고, im 계정 설정, 데이터베이스 대상 입력, 임계값(300만행) 설정 만 진행해서 run 돌렸습니다.

[@AWSClassroom]

@@chan9334 비슷한 파일 만들어서 돌렸는데 저는 잘 돌아가는거 봐서는 잘 모르겠네요. 파일에 따라 좀 다른 일이 벌어지는 거 같은데 AWS 서포트에 문의 한번 하셔야 할 것 같습니다. 도움이 되지 못해 죄송합니다.