您现在的位置是:首页 > 正文

sqoop1.99.7搭建和使用

2024-04-01 01:42:39阅读 3

sqoop的主要功能是hdfs与关系型数据库的数据互相导入导出。

我们以hdfs和mysql互相导数据为例

现在我们开始搭建sqoop

1.下载sqoop包

   wget http://mirror.bit.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz


2.解压

   tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz


3.添加环境变量

   export SQOOP_HOME=/chenzhongwei/soft/sqoop-1.99.7-bin-hadoop200

   export PATH=$PATH:$JAVA_HOME/bin:$MYSQL_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SQOOP_HOME/bin

   执行source /etc/profile


4.修改conf下的sqoop.properties

   47,233s/@LOGDIR@/\/chenzhongwei\/soft\/sqoop-1.99.7-bin-hadoop200\/logs/g(vim里的命令行执行)

   47,233s/@BASEDIR@/\/chenzhongwei\/soft\/sqoop-1.99.7-bin-hadoop200\/basedir/g(vim里的命令行执行)

   org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/chenzhongwei/soft/hadoop-2.7.3/etc/hadoop/(hadoop安装目录)


5.sqoop的安装文档

   http://sqoop.apache.org/docs/1.99.7/admin/Installation.html


   该文档让我们再core-site.xml里加配置

    <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
  </property>
  <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
  </property>

   root当前运行的用户

 

6.把mysql驱动包放到server/lib下


网站文章

  • Google中国2014校园招聘笔试Round A China New Grad Test Problem A. Read Phone Number

    Problem Do you know how to read the phone numbers in English? Now let me tell you. For example, In China, the phone numbers are 11 digits, like: 15012233444. Someone divides the numbers into 3-4-4 f

    2024-04-01 01:42:27
  • 简历有空窗期,怎么办?

    上一篇:“公司15号发工资”上热搜职业空窗期,是求职者几乎都有的时期。HR也是企业的员工,空窗期他们都能明白可能是多种原因造成的,比如家庭原因、健康状况、旅行、甚至今年特殊时期找不到工作,那为什么还会...

    2024-04-01 01:42:20
  • 使用Go语言搭建区块链基础

    使用Go语言搭建区块链基础

    通过本文的介绍,我们了解了如何使用Go语言搭建区块链的基础框架。我们学习了如何定义区块结构、实现区块链、计算区块的哈希值、添加新的区块以及验证区块链的完整性。此外,我们还介绍了三个与区块链相关的案例,从简单的加密货币系统到复杂的数字资产交易平台。希望本文能够为你搭建区块链系统提供一些帮助,也希望你能够进一步深入学习和探索区块链技术的更多细节。

    2024-04-01 01:41:53
  • http知识点整理记录

    http知识点整理记录

    TCP的三次握手四次挥手:三次握手(建立连接): 第一次握手: 建立连接时,客户端向服务器端发送TCP连接请求数据包(SYN=1,seq=x),客户端进入SYN_SEND状态 第二次握手: 服务器确认数据包,并返回自己的数据包(SYN=1,ACK=1,ack=x+1,seq=y),服务器进入SYN_RECV状态 第三次握手: 客户端确认并再次发出确认(ACK=1,...

    2024-04-01 01:41:47
  • Nodejs中when库的实例介绍

    Nodejs中when库的实例介绍

    假设一个业务场景:通过rss地址,获取rss并保存于文件,rss地址保存于文件中。完成该场景的业务需要完成3个任务:1.从文件中读取rss地址。2.获取rss。3.保存于文件。最后将这三个任务进行整合。 准备:存放rss地址的文件,address.txt。http://programmer.csdn.net/rss_p

    2024-04-01 01:41:40
  • 做支付遇到的HttpClient大坑

    做支付遇到的HttpClient大坑

    前言 HTTPClient大家应该都很熟悉,一个很好的抓网页,刷投票或者刷浏览量的工具。但是还有一项非常重要的功能就是外部接口调用,比如说发起微信支付,支付宝退款接口调用等;最近我们在这个工具上栽了一个大跟头,不怕大家笑话,拿出来跟大家分享一下; 过程描述 项目代码比较复杂,我为了直达问题,单独写了程序来说明; 我这里先重复一下导致问题的过程:程序源自于从.NET到Java的重构,开发...

    2024-04-01 01:41:16
  • 1003 我要通过! (20 分)

    #include <cstdio>#include <cstring>int main() { int n; scanf("%d", &n); // 之前一直用c++过不了,因为会有空格的关系,所以改用了scanf; while (n--) { char s[110]; int np =...

    2024-04-01 01:41:09
  • NOI-1.5(09) 奇数求和

    NOI-1.5(09) 奇数求和

    2024-04-01 01:41:03
  • 建Stable-Diffusion-Webui的AI

    建Stable-Diffusion-Webui的AI

    人工智能,丹青圣手,全平台(原生/Docker)构建Stable-Diffusion-Webui的AI绘画库教程(Python3.10/Pytorch1.13.0) - 知乎

    2024-04-01 01:40:39
  • golang panic recover return defer的逻辑顺序问题

    package main import &quot;fmt&quot; //验证golang return defer recover 之间的顺序关系 func main() { defer func...

    2024-04-01 01:40:33