카테고리 없음

ETL vs ELT 비교

aimler 2025. 8. 19. 10:17
반응형
  • ETL ( Extract → Transform → Load )
    • 전통적 방식
    • 데이터를 원본에서 추출(Extract)중간 처리 서버에서 변환(Transform) → 최종적으로 데이터 웨어하우스에 적재(Load)
    • 데이터 웨어하우스의 연산 능력이 부족하던 시절에 주로 사용됨
    • [Source] → (Extract) → [ETL 서버에서 Transform] → (Load) → [Data Warehouse]
  • ELT ( Extract → Load → Transform )
    • 현대적 방식 (dbt가 여기에 해당)
    • 데이터를 원본에서 추출(Extract) → 그대로 데이터 웨어하우스에 적재(Load) → 웨어하우스 내부에서 SQL 기반 변환(Transform) 수행
    • Snowflake, BigQuery, Redshift, Databricks 등 강력한 클라우드 DWH가 등장하면서 표준이 됨
    • [Source] → (Extract + Load, Ingestion) → [Data Warehouse] → (Transform, dbt) → [Analytics-ready Data]
  • 요약
구분 ETL ELT (dbt 활용)
Transform 위치 ETL 서버(외부 처리 엔진) 데이터 웨어하우스 내부
데이터 적재 순서 변환 후 Load Load 후 변환
도구 예시 Informatica, Talend, Pentaho dbt, SQL, BigQuery/Snowflake/Redshift 내장 기능
장점 - 웨어하우스 부담 ↓- 보안·정책 제약 환경에서 유리 - 웨어하우스의 강력한 성능 활용- 단순 구조 (원시데이터와 정제데이터 모두 보관)- SQL만으로 개발 가능
단점 - 변환 서버 운영 필요- 확장성 낮음 - 웨어하우스 비용 증가 가능- 웨어하우스 의존도 ↑
사용 사례 과거 온프레미스 DWH 환경 최신 클라우드 DWH + dbt 파이프라인

 

반응형