ETL是什么意思?
ETL,extraction-transformation-loading的缩写,中文名称是数据提取、转换和加载。
一般随着业务的发展和扩大,生产线越来越多,产生的数据也越来越多。这些数据的采集方式、原始数据格式、数据量、存储要求、使用场景都有很大的不同。
数据提取是指将ODS源数据提取到DW中,拉取数据,清洗后需要显示。一般是将清洗后的数据加载到mysql中,然后在各种系统中使用,或者使用Tableau直接展示给相关人员。元数据管理系统是数据仓库所必需的,相关人员必须定期维护。如果元数据和数据仓库的变化不同步,那么元数据系统就没有用。
扩展数据
ETL所描述的过程一般包括ETL或ELT,它们是混合的。一般数据量越大,转换逻辑越复杂,目的地计算能力越强的数据库,为了利用目的地数据库的并行处理能力,越倾向于使用ELT。目的是整合企业中分散、杂乱、不统一的数据,为企业决策提供分析依据,是商业智能项目的重要环节。
参考资料:
百度百科-ETL