ETL이란

ETL이란 약어는 각각 Extract / Transform / Load를 의미한다.

 

Extract는 추출이란 사전적 의미를 가지며, Source에서 데이터를 가져오는 것을 말한다. 이 때 Source는 Table이 될 수도 있고, XML, Application, Flat File 등이 될 수도 있다. 

(예) SAP Data Services Data Flow 내부로직

위의 그림에서 보면, SALES와 SALES_PLAN 에서 데이터를 추출하게 되어 Staging Area에 보관하게 된다. 이 때 SALES와 SALES_PLAN 테이블의 각 DB는 다를 수도 있다. 이렇게 추출된 데이터는 결과적으로 Data Warehouse나 ODS(Operational Data Store) 등에 사용된다.

 

Transform은 변환이다. 위의 과정에서 추출 된 데이터에 함수 세트 또는 로직을 적용하여 대상 시스템에 적재 한다. 예를 들어 SALES의 테이블에 판매시기, 판매처, 판매액이 있으나 그 합계가 없을 경우, 판매시기, 판매처를 Grouping 하여 SUM함수를 적용하고 판매처가 ABC가 아닌곳 이라는 조건을 적용하여 Target테이블에 적재할 수 있다. 즉 적재 하기 전에 고객이 원하는 로직을 적용하여 데이터를 변환 시킬 수 있는 구간이다.

 

Load는 적재다. 데이터를 최종 대상 시스템에 적재하는 것을 말한다. 이 시스템은 Flat File일 수도 있고 Data Warehouse일 경우, 여러가지 경우가 있을 수 있다.