太阳城手机版学习系列之五 ----- Hive整合HBase图文详解-HBase-@太阳城手机版资讯
你好,游客 登录
背景:
阅读新闻

太阳城手机版学习系列之五 ----- Hive整合HBase图文详解

[日期:2017-12-19] 来源:博客园精华区  作者: [字体: ]

引言

在上一篇 太阳城手机版学习系列之四 ----- 太阳城娱乐+Hive环境搭建图文详解(单机) 和之前的 太阳城手机版学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环境,并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。

Hive和HBase的通信意图

Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现,通信原理如下图所示。

太阳城手机版

Hive整合HBase后的使用场景:

(一)通过Hive把太阳城加载到HBase中,太阳城源可以是文件也可以是Hive中的表。

(二)通过整合,让HBase支持JOIN、GROUP等SQL查询语法。

(三)通过整合,不仅可完成HBase的太阳城实时查询,也可以使用Hive查询HBase中的太阳城完成复杂的太阳城分析

一、环境选择

1,服务器选择

本地虚拟机

操作系统:linux CentOS 7

Cpu:2核

内存:2G

硬盘:40G

2,配置选择

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)

Hadoop:2.8.2 (太阳城娱乐-2.8.2.tar.gz)

Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)

HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

3,下载地址

官网地址

JDK:

http://www.oracle.com/technetwork/java/javase/downloads

Hadopp:

http://www.apache.org/dyn/closer.cgi/太阳城娱乐/common

Hive

http://mirror.bit.edu.cn/apache/hive/

HBase:

http://mirror.bit.edu.cn/apache/hbase/

百度云盘

链接: https://pan.baidu.com/s/1jIemIDC 密码:uycu

二、服务器的相关配置

在配置Hadoop+Hive+HBase之前,应该先做一下配置。

做这些配置为了方便,使用root权限。

1,更改主机名

首先更改主机名,目的是为了方便管理。

输入:

hostname

查看本机的名称

然后更改主机名为master

输入:

hostnamectl set-hostname master

注:主机名称更改之后,要重启(reboot)才会生效。

2,做IP和主机名的映射

修改hosts文件,做关系映射

输入

vim /etc/hosts

添加

主机的ip 和 主机名称

192.168.238.128 master

3,关闭防火墙

关闭防火墙,方便访问。

CentOS 7版本以下输入:

关闭防火墙

service   iptables stop

CentOS 7 以上的版本输入:

systemctl stop firewalld.service

4,时间设置

查看当前时间

输入:

date

查看服务器时间是否一致,若不一致则更改

更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

5,整体的环境配置

/etc/profile 的整体配置

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-太阳城娱乐2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/太阳城娱乐/太阳城娱乐2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

注:具体的配置以自己的为准,没有的不用配置。

三、Hadoop的环境配置

Hadoop的具体配置在 太阳城手机版学习系列之一 ----- Hadoop环境搭建(单机) 中介绍得很详细了。所以本文就大体介绍一下。

注:具体配置以自己的为准。

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/太阳城娱乐/太阳城娱乐2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2,配置文件更改

先切换到 /home/太阳城娱乐/太阳城娱乐2.8/etc/太阳城娱乐/ 目录下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

<configuration>
<property>
        <name>太阳城娱乐.tmp.dir</name>
        <value>/root/太阳城娱乐/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 太阳城娱乐-env.sh

输入:

vim 太阳城娱乐-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

<property>
   <name>dfs.name.dir</name>
   <value>/root/太阳城娱乐/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/太阳城娱乐/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

如果没有 mapred-site.xml 该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。

输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件,在

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/太阳城娱乐/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3,Hadoop启动

启动之前需要先格式化

切换到/home/太阳城娱乐/太阳城娱乐2.8/bin目录下

输入:

./太阳城娱乐  namenode  -format

格式化成功后,再切换到/home/太阳城娱乐/太阳城娱乐2.8/sbin目录下

启动hdfs和yarn

输入:

start-dfs.sh
start-yarn.sh

启动成功后,输入jsp查看是否启动成功

在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问

能正确访问则启动成功

四、Hive的环境配置

Hive环境的具体配置在我的这篇 太阳城手机版学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 以及介绍得很详细了。本篇就大概介绍下。

修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下

将hive-default.xml.template 拷贝一份,并重命名为hive-site.xml

然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

然后将配置文件中所有的

${system:java.io.tmpdir}

更改为 /opt/hive/tmp (如果没有该文件则创建),

并将此文件夹赋予读写权限,将

${system:user.name} 

更改为 root

例如:

更改之前的:

更改之后:

配置图:

注: 由于hive-site.xml 文件中的配置过多,可以通过FTP将它下载下来进行编辑。也可以直接配置自己所需的,其他的可以删除。 MySQL的连接地址中的master是主机的别名,可以换成ip。

修改 hive-env.sh

修改hive-env.sh 文件,没有就复制 hive-env.sh.template ,并重命名为hive-env.sh

在这个配置文件中添加

export  HADOOP_HOME=/opt/太阳城娱乐/太阳城娱乐2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

添加 太阳城驱动包

由于Hive 默认自带的太阳城库是使用mysql,所以这块就是用mysql

将mysql 的驱动包 上传到 /opt/hive/hive2.1/lib

五、HBase的环境配置

HBase环境的具体配置在我的这篇 太阳城手机版学习系列之二 ----- HBase环境搭建(单机) 以及介绍得很详细了。本篇就大概介绍下。

修改 hbase-env.sh

编辑 hbase-env.sh 文件,添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/太阳城娱乐/太阳城娱乐2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/太阳城娱乐/太阳城娱乐2.8/etc/太阳城娱乐
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

说明:配置的路径以自己的为准。HBASE_MANAGES_ZK=false 是不启用HBase自带的Zookeeper集群。

修改 hbase-site.xml

编辑hbase-site.xml 文件,在

<!-- 存储目录 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超时时间 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。如果是集群,则添加其它的主机地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是单机模式,true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

说明:hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase 。hbase.cluster.distributed :Hbase的运行模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

六、Hive整合HBase的环境配置以及测试

1,环境配置

因为Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler- .jar工具类来实现。所以只需要将hive的 hive-hbase-handler- .jar 复制到hbase/lib中就可以了。

切换到hive/lib目录下

输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

注: 如果在hive整合hbase中,出现版本之类的问题,那么以hbase的版本为主,将hbase中的jar包覆盖hive的jar包。

2,hive和hbase测试

在进行测试的时候,确保太阳城娱乐、hbase、hive环境已经成功搭建好,并且都成功启动了。

打开xshell的两个命令窗口

一个进入hive,一个进入hbase

6.2.1在hive中创建映射hbase的表

在hive中创建一个映射hbase的表,为了方便,设置两边的表名都为t_student,存储的表也是这个。

在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.太阳城娱乐.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

说明:第一个t_student 是hive表中的名称,第二个t_student是定义在hbase的table名称 ,第三个t_student 是存储太阳城表的名称("hbase.mapred.output.outputtable" = "t_student"这个可以不要,表太阳城就存储在第二个表中了) 。 
(id int,name string) 这个是hive表结构。如果要增加字段,就以这种格式增加。如果要增加字段的注释,那么在字段后面添加comment ‘你要描述的’。 
例如: 
create table t_student(id int comment ‘StudentId’,name string comment ‘StudentName’) 
org.apache.太阳城娱乐.hive.hbase.HBaseStorageHandler 这个是指定的存储器。 
hbase.columns.mapping 是定义在hbase的列族。 
例如:st1就是列族,name就是列。在hive中创建表t_student,这个表包括两个字段(int型的id和string型的name)。 映射为hbase中的表t_student,key对应hbase的rowkey,value对应hbase的st1:name列。

表成功创建之后

在hive、hbase分别中查看表和表结构

hive中输入

show tablesdescribe t_student;

hbase输入:

list
describe ‘t_student’

可以看到表已经成功的创建了

6.2.2太阳城同步测试

进入hbase之后

在t_student中添加两条太阳城 然后查询该表

put 't_student','1001','st1:name','zhangsan'
put 't_student','1002','st1:name','lisi'
scan 't_student'

然后切换到hive中

查询该表

输入:

select * from t_student;

然后在hive中删除该表

注:因为做测试要看结果,所以将表删除了。如果同学们要做测试的话,是没有必要删除该表的,因为在后面还会使用该表。

然后查看hive和hbase中的表是否删除了

输入:

drop table t_student;

通过这些可以看到hive和hbase之间的太阳城成功同步!

6.2.3关联查询测试

hive外部表测试

先在hbase中建一张t_student_info表,添加两个列族

然后查看表结构

输入:

create 't_student_info','st1','st2'
describe 't_student_info'

然后在hive中创建外部表

说明:创建外部表要使用EXTERNAL 关键字

输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.太阳城娱乐.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

然后在t_student_info 中添加太阳城

put 't_student_info','1001','st2:sex','man'
put 't_student_info','1001','st1:age','20'
put 't_student_info','1002','st1:age','18'
put 't_student_info','1002','st2:sex','woman'

然后在hive中查询该表

输入:

select * from t_student_info;

查询到太阳城之后,然后将t_student 和t_student_info进行关联查询。

输入:

select * from t_student t join t_student ti where t.id=ti.id ;

说明:通过关联查询,可以得出表之间是可以关联查询的。但是明显看到hive 使用默认的mapreduce 作为引擎是多么的慢。。。

其他说明: 
由于自己的虚拟机配置实在太渣,即使调大reduce内存,限制每个reduce处理的太阳城量,还是不行,最后没办法使用公司的测试服务进行测试。 
在查询一张表的时候,hive没有使用引擎,因此相对比较快,如果是进行了关联查询之类的,就会使用引擎,由于hive默认的引擎是mr,所以会很慢,也和配置有一定关系,hive2.x以后官方就不建议使用mr了。

本文到此结束,谢谢阅读!





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款