知识分享
31
SQOOP原理和使用小记 SQOOP原理和使用小记
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS.Sqoop底层用MapReduce程序实现抽取、转换、加载,MapReduce天生的特性保证了并行化和高容错率,而且相比Kettle等传统ETL工具,任务跑在Hadoop集群上,减少了ETL服务器资源的使用情况。
2021-01-31
25
DATAX使用小记 DATAX使用小记
datax是阿里巴巴内部被广泛使用的离线数据同步工具或平台,通过配置reader+writer的配置方式,实现各种异步数据源之间的数据同步。
2021-01-25
20
14
13
12
1 / 3