把 mysql 表数据导入 hive 中

  • 命令格式

    1
    
    sqoop import {参数列表}
  • 默认在 hive 中创建指定表,如果该表已存在,则把 mysql 表数据追加到该表中,常规参数如下

    1
    2
    3
    4
    5
    6
    7
    8
    9
    
    --connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
    --username _mysql_user_
    --password _mysql_password_
    --table _mysql_tablename_
    --hive-import
    --hive-database _hive_dbname_
    --hive-table _hive_tablename_
    --hive-drop-import-delims
    -m 1
  • 如果该表已存在,则报错退出,参数如下

    1
    
    --create-hive-table
  • 如果该表已存在,则覆盖重新导入,参数如下

    1
    
    --hive-overwrite
  • 导入增量数据,参数如下

    1
    2
    3
    
    --incremental append
    --check-column _mysql_tablecolumn_
    --last-value _last_value_

把 hive 表数据导入 mysql 中

  • 命令格式

    1
    
    sqoop export {参数列表}
  • mysql 中需提前创建好待导入的表,常规参数如下

    1
    2
    3
    4
    5
    6
    
    --connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
    --username _mysql_username_
    --password _mysql_password_
    --table _mysql_tablename_
    --hcatalog-database _hive_dbname_
    --hcatalog-table _hive_tablename_
  • 只导出 hive 表中的部分的指定(部分)字段,参数如下

    1
    
    --columns "_column_name1_,_column_name2_,_column_name3_"