https://www.youtube.com/watch?v=fn0sN3PFip0
Connectors
- Source의 데이터를 Data Warehouse나 Data Lake로 보내는 역할
Fivetran
- 다양한 데이터들을 수집할 때, Normalize하고 SQL 통해 Analysis Ready Schema로 변환
- 저장되는 데이터에 따라 과금
- 따라서, ETL에서는 어떻게 transform하는지도 중요했음
- ETL에서 ELT로 넘어가는 이유
- Storage가 싸지고, Computing 리소스가 비싸짐
- Panoply (Fivetran 지원)
- ETL + Data Warehouse
Stitch
- ETL 도구
Matillion
- 똑같음 ETL 도구
- Matillion Data Loader
- 무료 도구
- Extract / Load 하는 부분만 무료로 공개
'데이터 엔지니어링 > 데이터 플랫폼' 카테고리의 다른 글
| [데이터플랫폼] 최신 데이터 인프라 이해하기 #5 - ETL/ELT 도구들 (Spark, Python, Hive) (0) | 2022.04.25 |
|---|---|
| [데이터플랫폼] 최신 데이터 인프라 이해하기 #4 - ETL/ELT 도구들 (dbt, Airflow, Dagster, Prefect) (0) | 2022.04.24 |
| [데이터플랫폼] 최신 데이터 인프라 이해하기 #2 - 데이터 소스 (0) | 2022.04.24 |
| [데이터플랫폼] 최신 데이터 인프라 이해하기 #1 - 기본 개념과 단어 설명 (0) | 2022.04.24 |
| [데이터플랫폼] 데이터 파이프라인이란 (0) | 2022.04.24 |