返回顶部
首页 > 资讯 > 精选 >centos7快速配置hive的过程
  • 230
分享到

centos7快速配置hive的过程

2023-06-03 03:06:39 230人浏览 八月长安
摘要

这篇文章主要介绍“Centos7快速配置Hive的过程”,在日常操作中,相信很多人在centos7快速配置hive的过程问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”centos7快速配置hive的过程”的疑

这篇文章主要介绍“Centos7快速配置Hive的过程”,在日常操作中,相信很多人在centos7快速配置hive的过程问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”centos7快速配置hive的过程”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!



### hive 配置部分
目录规划
    /usr/lib/JVM/jdk1.8.0_65
    /usr/hadoop
    /usr/hive

/etc/profile
    ......
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
export HIVE_HOME=/usr/hive
export PATH=$HIVE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server  
  如果没有这个,会OGG-15050  Error loading Java VM runtime library: (2 No such file or directory)
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/lib
export OGG_HOME=/ogg/oggbd
# export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$oracle_HOME/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$OGG_HOME:$OGG_HOME/ggjava


下载解压
    hive 下载地址: Http://hive.apache.org/  --> GENERAL --> Downloads 
    apache-hive-2.3.0-bin.tar.gz
    tar -xzf apache-hive-2.3.0-bin.tar.gz
    mv apache-hive-2.3.0-bin /usr/hive
    chown -R htjs:htjs /usr/hive
    进入/usr/hive/conf 复制修改配置文件

配置文件
配置文件1   hive-env.sh
    cp hive-env.sh.template hive-env.sh 
    修改HADOOP_HOME:HADOOP_HOME=/usr/hadoop 
    如果这里不修改,hive无法初始化元数据,
    报错Error: Syntax error: Encountered "" at line 1, column 64. (state=42X01,code=30000)
配置文件2  hive-site.xml
    cp hive-default.xml.template hive-site.xml
    cp hive-log4j2.properties.template hive-log4j2.properties 
    cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
    hive-site.xml 配置文件中mysql相关部分 (这个地方在博客上显示不全!)
            javax.jdo.option.ConnectionURL
            jdbc:Mysql://localhost:3306/hive?createDatabaseIfNotExist=true
            javax.jdo.option.ConnectionDriverName
            com.mysql.jdbc.Driver       
            javax.jdo.option.ConnectionUserName
            root        
            javax.jdo.option.ConnectionPassWord
            rootroot        
     hive-site.xml 配置文件中 tmpdir的替换
    :%s/${system:java.io.tmpdir}/\/usr\/hive\/tmp/GC
    :%s/${system:user.name}/htjs/gc

    实际上是将
    ${system:java.io.tmpdir}/${system:user.name}
    替换成
    /usr/hive/tmp/htjs
    如果这里不替换,会出现hive无法启动错误 URISyntaxException

复制mysql驱动
    tar -xzf mysql-connector-java-5.1.42.tar.gz
    cd mysql-connector-java-5.1.42
    cp mysql-connector-java-5.1.42-bin.jar /usr/hive/lib
    chown -R htjs:htjs /usr/hive/lib/mysql*.jar

创建目录
    mkdir /usr/hive/tmp
    hdfs dfs -mkdir /tmp
    hdfs dfs -mkdir -p /user/hive/warehouse
    hdfs dfs -chmod -R +w /tmp
    hdfs dfs -chmod -R +w /user/hive
    hdfs dfs -ls /user/hive

初始化schema
    $ $HIVE_HOME/bin/schematool -dbType mysql -initSchema

运行hive
    单机模式
    $  hive
    hive>  CREATE TABLE pokes (foo INT, bar STRING);
    hive>  CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

    服务器模式
    $  hiveserver2
    or
    $ nohup /usr/hive/bin/hiveserver2 &

    这时可以通过jdbc客户端连接这个服务访问hive,端口默认是10000, 
    在hive-site.xml 中可以修改 hive.server2.thrift.port 为其他端口,比如8338

    使用beeline连接
        $ beeline -u jdbc:hive2://node1:10000 -n"htjs"  
        使用-n"htjs"  选项,是为了避免权限问题。如果/user/hive/warehouse 出现不能写入的问题,带上-n
       insert into pokes (foo,bar) values (1,'a');
        select * from pokes;
hive 配置完毕。

到此,关于“centos7快速配置hive的过程”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注编程网网站,小编会继续努力为大家带来更多实用的文章!

--结束END--

本文标题: centos7快速配置hive的过程

本文链接: https://lsjlt.com/news/232367.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • centos7快速配置hive的过程
    这篇文章主要介绍“centos7快速配置hive的过程”,在日常操作中,相信很多人在centos7快速配置hive的过程问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”centos7快速配置hive的过程”的疑...
    99+
    2023-06-03
  • CentOS7下怎么快速配置MariaDB
    本篇内容主要讲解“CentOS7下怎么快速配置MariaDB”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“CentOS7下怎么快速配置MariaDB”吧!MariaDB数据库管理系统是 MySQ...
    99+
    2023-06-27
  • 在Centos7中配置NIS的详细过程
    目录原理网络环境准备安装前准备NIS服务器操作NIS客户端操作原理 NIS(Network Information Service) 在有多台linux服务器的环境中,且一台linux服务器的账号又有很多且可能会相同,所...
    99+
    2022-06-04
    Centos7配置NIS服务 Centos搭建NIS步骤
  • centos7怎么快速启动应用程序
    这篇文章主要介绍centos7怎么快速启动应用程序,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!环境 一切不说版本的安装教程都是耍流氓TT 系统:CentOS 7 桌面系统版本:gnome 3.1...
    99+
    2023-06-10
  • 快速配置yum本地源
    本文档将教会大家快速配置yum源,这种方法很适合新创建的Linux系统,特别是RHEL7系列的Linux系统。首先把系统镜像挂载过来:...
    99+
    2023-06-05
  • 基于centos7快速安装mysql5.7教程解析
    一. wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 二. yum -y localinstall mysql5...
    99+
    2022-05-28
    centos 安装 mysql 教程
  • HIVE实现wordcount的过程
    这篇文章主要讲解了“HIVE实现wordcount的过程”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“HIVE实现wordcount的过程”吧!1、建表并关联数据:进入hive命令行:hiv...
    99+
    2023-06-03
  • 快速学会Dubbo的配置环境及相关配置
    目录1. Dubbo相关概念1.1 自动服务发现工作原理2. 启动文件2.1 zookeeper-3.4.11\bin\zkServer.cmd2.2 zookeeper-3.4.1...
    99+
    2024-04-02
  • SaltStack配置管理入门教程:快速上手
    SaltStack是一款开源的配置管理工具,可实现对服务器的远程控制、配置和维护,适用于各种规模的IT环境。它使用Salt语言来编写配置,并通过SaltStack Master-Minion架构来实现远程管理。 一、SaltStack的...
    99+
    2024-02-08
    SaltStack 配置管理 远程控制 IT环境
  • 快速配置Linux云服务器
    以下是一些快速配置Linux云服务器的步骤:1.选择适合您需求的云服务器提供商。2.创建一个新的虚拟机实例/服务器实例。选择操作系统...
    99+
    2023-09-21
    linux
  • CentOS7系统进行IP和主机名的网络配置的过程
    本篇内容介绍了“CentOS7系统进行IP和主机名的网络配置的过程”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!  CentOS最近几天才刚...
    99+
    2023-06-10
  • 加速Python包安装:快速配置pip源
    快速配置pip镜像源,让Python包安装更迅速 引言:Python是一种广泛使用的编程语言,通过pip工具可以方便地安装和管理各种Python包。然而,在使用pip进行包下载时,由于各种网络原因,速度可能会非常慢甚至无法连接。...
    99+
    2024-01-17
    pip源配置 快速配置
  • hbase和hive的基本配置
    hadoop配置在上篇博客已介绍,此处直接配置hbase和hivemaster节点:lab201,slave节点:lab201,lab202,lab203三个节点均执行如下操作( 以下以master结点为例...
    99+
    2024-04-02
  • mysql left join快速转inner join的过程
    在日常优化过程中,发现一个怪事情,同一个SQL出现两个完全不一样执行计划,left join 连驱动表都可以变成不一样。 对于left join,如果where条件里有被关联表过滤,left join有...
    99+
    2022-05-15
    mysql left join inner join mysql left join转 inner join
  • Linux系统MySQL8.0.19快速安装配置教程图解
    一、环境介绍 Linux系统使用yum安装MySQL需要从网上下载MySQL的一系列组件,这个过程非常耗时且有下载中断的可能,如果想要快速安装MySQL,可以先在网上将MySQL的离线包下载下来传到系统内进行安装,本...
    99+
    2022-06-03
    linux mysql8.0.19安装配置 mysql8.0.19安装
  • 快速入手IntelliJ IDEA基本配置
    目录介绍安装配置maven一 maven介绍二 设置本地库三 idea 中 maven 的配置DeBug插件推荐常用快捷键快捷键大全1、Ctrl相关2、Alt相关3、Shift相关4...
    99+
    2024-04-02
  • 怎么快速配置本地yun源
    这篇文章主要介绍“怎么快速配置本地yun源”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“怎么快速配置本地yun源”文章能帮助大家解决问题。首先把系统镜像挂载过来:在右下角的光盘标志这里右键,然后点击...
    99+
    2023-06-27
  • CentOS7环境中DHCP配置教程
    目录CentOS7环境中配置命令步骤1、设置DHCP配置文件2、设置全局配置3、网段声明作用于整个子网段,部分配置参数优先级高于全局配置参数4、host主机声明给单机分配固定的IP地址5、最后开启服务FTP服务FTP实验...
    99+
    2022-06-04
    CentOS配置DHCP服务 DHCP配置教程
  • 一次在CentOS7上安装部署Zabbix3.0版本及快速进行基本配置的实例
    Zabbix3.0的安装、部署、配置,必须基于LAMP环境或是是LNMP环境。关于LAMP环境的简单快速搭建,见博客:http://afterdawn.blog.51cto.com/7503144/1923...
    99+
    2024-04-02
  • gpsgate 配置过程
    要配置GPSGate,您可以按照以下步骤进行操作:1. 下载并安装GPSGate服务器软件。您可以从GPSGate官方网站上找到适用...
    99+
    2023-09-21
    gpsgate
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作