SQOOP原理和使用小记 Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS.Sqoop底层用MapReduce程序实现抽取、转换、加载,MapReduce天生的特性保证了并行化和高容错率,而且相比Kettle等传统ETL工具,任务跑在Hadoop集群上,减少了ETL服务器资源的使用情况。 2021-01-31 tools etl sqoop
DATAX使用小记 datax是阿里巴巴内部被广泛使用的离线数据同步工具或平台,通过配置reader+writer的配置方式,实现各种异步数据源之间的数据同步。 2021-01-25 tools datax etl
CentOS7.x上sftp的安装配置 sftp是Secure FileTransferProtocol的缩写,安全文件传送协议,可以为传输文件提供一种安全的加密方法。 2021-01-14 tools centos sftp
CentOS7.x上一键FTP安装脚本 FTP是FileTransferProtocol(文件传输协议)的英文简称,而中文简称为“文传协议”。用于Internet上的控制文件的双向传输。 2021-01-13 tools centos ftp