phoenix安装及使用详细步骤

时间:2024-03-31 21:34:03

1  简介

    hbase 提供很方便的shell脚本以及java API等方式对Hbase进行操作,但是对于很对已经习惯了关系型数据库操作的开发来说,有一定的学习成本,如果可以像操作mysql等一样通过sql实现对Hbase的操作,那么很大程度降低了Hbase的使用成本。Apache Phoenix 组件就完成了这种需求,官方注解为 “Phoenix -we put the SQL back in NoSql”,通过官方说明,Phoenix 的性能很高,相对于 hbase 原生的scan 并不会差多少,而对于类似的组件 hive、Impala等,性能有着显著的提升,详细请阅读https://phoenix.apache.org/performance.html

Apache Phoenix 官方站点:https://phoenix.apache.org/
Phoenix支持的sql语句: 
https://phoenix.apache.org/language/index.html

Phoenix 支持的DataTypes:https://phoenix.apache.org/language/datatypes.html
Phoenix 支持的函数:https://phoenix.apache.org/language/functions.html

2   安装配置

2.1   环境说明

       Hbase使用两台主机,主机名和IP分别为:

       master          172.18.68.119 

       slave01       172.18.68.88

       master作为主节点,slave01作为从节点,即作为Hbase的HRegionServer。

       hbase的安装位置:/home/hadoop/hbase

2.2  下载

    在官网http://www.apache.org/dyn/closer.lua/phoenix/中选择提供的镜像站点中下载与安装的HBase版本对应的版本。本地使用的1.3.1,故下载的apache-phoenix-4.11.0-HBase-1.3/的tar.gz包。

 phoenix安装及使用详细步骤

2.3   安装配置

2.3.1   上传phoenix到master

       使用secureCRT或者其他传输工具将下载的tar包上传到hbase集群的master结点中。

       $cd /home/hadoop/

       $mkdir phoenix

       $cd phoenix

       $rz

       $tar -zxvf apache-phoenix-4.11.0-HBase-1.3-bin.tar.gz

       $mv apache-phoenix-4.11.0-HBase-1.3-bin/ phoenix

2.3.2    拷贝phoenix-core-4.11.0-HBase-1.3.jar到RegionServer

       将phoenix-core-4.11.0-HBase-1.3.jar拷贝到hbase集群中的所有region server的hbase的lib目录下。在测试环境下,master和slave01均作为regionserver。

       $cd /home/hadoop/phoenix/phoenix

       $cp phoenix-core-4.11.0-HBase-1.3.jar /home/hadoop/hbase/lib 拷贝到master

       $scp -r [email protected]:/home/hadoop/hbase/lib 拷贝到slave01

2.3.3     重启hbase

       $cd /home/hadoop/hbase/bin

       $./stop-hbase.sh

       $./start-hbase.sh

3  phoenix命令行使用

3.1     进入命令行

       $cd /home/hadoop/phoenix/phoenix/bin进入phoenix的bin目录

       $./sqlline.py  master 其中的master为Zookeeper所在节点的主机名

3.2    sqlline.py执行sql脚本

       可以使用sqlline.py命令执行sql脚本文件,如下:

       $ cd/home/hadoop/phoenix/phoenix

       $ bin/sqlline.py masterexamples/STOCK_SYMBOL.sql

       STOCK_SYMBOL.sql文件内容如下:

CREATE TABLE IF NOT EXISTS STOCK_SYMBOL (SYMBOL VARCHAR NOT NULL PRIMARY KEY, COMPANY VARCHAR);

UPSERT INTO STOCK_SYMBOL VALUES ('CRM','SalesForce.com');

SELECT * FROM STOCK_SYMBOL;

 

 

 

 


3.3   psql.py执行sql脚本

      可以通过phoenix的bin目录下的psql.py脚本加载CSV数据或者执行包含sql脚本的文件,如下:

      $cd /home/hadoop/phoenix/phoenix

      $bin/psql.py master ../examples/WEB_STAT.sql ../examples/WEB_STAT.csv ../examples/WEB_STAT_QUERIES.sql

      其中WEB_STAT.sql、WEB_STAT.csv、WEB_STAT_ QUERIES.sql是phoenix提供的samples下的文件,文件内容如下:

WEB_STAT.sql 为创建表的sql脚本文件

CREATE TABLE IF NOT EXISTS WEB_STAT (

     HOST CHAR(2) NOT NULL,

     DOMAIN VARCHAR NOT NULL,

     FEATURE VARCHAR NOT NULL,

     DATE DATE NOT NULL,

     USAGE.CORE BIGINT,

     USAGE.DB BIGINT,

     STATS.ACTIVE_VISITOR INTEGER

     CONSTRAINT PK PRIMARY KEY (HOST, DOMAIN, FEATURE, DATE)

);

 

     DATE DATE NOT NULL,

     USAGE.CORE BIGINT,

     USAGE.DB BIGINT,

     STATS.ACTIVE_VISITOR INTEGER

     CONSTRAINT PK PRIMARY KEY (HOST, DOMAIN, FEATURE, DATE)

);

 

 

 

 

 

 

 

 

 


WEB_STAT.csv 为数据文件

NA,Salesforce.com,Login,2013-01-01 01:01:01,35,42,10

EU,Salesforce.com,Reports,2013-01-02 12:02:01,25,11,2

EU,Salesforce.com,Reports,2013-01-02 14:32:01,125,131,42

NA,Apple.com,Login,2013-01-01 01:01:01,35,22,40

NA,Salesforce.com,Dashboard,2013-01-03 11:01:01,88,66,44

NA,Salesforce.com,Login,2013-01-04 06:01:21,3,52,1

EU,Apple.com,Mac,2013-01-01 01:01:01,35,22,34

NA,Salesforce.com,Login,2013-01-04 11:01:11,23,56,45

EU,Salesforce.com,Reports,2013-01-05 03:11:12,75,22,3

EU,Salesforce.com,Dashboard,2013-01-06 05:04:05,12,22,43

                                                 ...


 

 

 

 

 

 

 

 


 

WEB_STAT_ QUERIES.sql为查询脚本文件

SELECT DOMAIN, AVG(CORE) Average_CPU_Usage, AVG(DB) Average_DB_Usage

FROM WEB_STAT

GROUP BY DOMAIN

ORDER BY DOMAIN DESC;

 

-- Sum, Min and Max CPU usage by Salesforce grouped by day

SELECT TRUNC(DATE,'DAY') DAY, SUM(CORE) TOTAL_CPU_Usage, MIN(CORE) MIN_CPU_Usage, MAX(CORE) MAX_CPU_Usage

FROM WEB_STAT

WHERE DOMAIN LIKE 'Salesforce%'

GROUP BY TRUNC(DATE,'DAY');

 

-- list host and total active users when core CPU usage is 10X greater than DB usage

SELECT HOST, SUM(ACTIVE_VISITOR) TOTAL_ACTIVE_VISITORS

FROM WEB_STAT

WHERE DB > (CORE * 10)

GROUP BY HOST;

 

3.4     phoenix表操作

3.4.1     创建表

CREATE TABLE IF NOT EXISTS us_population (

stateCHAR(2) NOT NULL,

cityVARCHAR NOT NULL,

populationBIGINT

CONSTRAINTmy_pk PRIMARY KEY (state, city));

      在phoenix中,默认情况下,表名等会自动转换为大写,若要小写,使用双引号,如"us_population"。

3.4.2     显示所有表

       !table或

       !tables

3.4.3     插入记录

      upsert into us_population values('NY','NewYork',8143197);

3.4.4     查询记录

      select * from us_population ;

       select * from us_population wherestate='NY';

3.4.5     删除记录

       delete from us_population wherestate='NY';

3.4.6     删除表

       drop table us_population;

3.4.7     退出命令行

      !quit

      具体语法参照官网

https://phoenix.apache.org/language/index.html#upsert_select

3.5     phoenix表映射

      默认情况下,直接在hbase中创建的表,通过phoenix是查看不到的,如图1和图2,US_POPULATION是在phoenix中直接创建的,而test是在hbase中直接创建的,默认情况下,在phoenix中是查看不到test的。

phoenix安装及使用详细步骤

图1 phoenix命令行中查看所有表

phoenix安装及使用详细步骤

图2 hbase命令行中查看所有表

      如果需要在phoenix中操作直接在hbase中创建的表,则需要在phoenix中进行表的映射。映射方式有两种:视图映射和表映射。

      hbase 中test的表结构如下,两个列簇name、company.

Rowkey

name

company

empid

firstname

lastname

name

address




3.5.1   hbase命令行中创建表

       $ cd /home/hadoop/hbase/bin

       $ ./hbase shell 进入hbase命令行

       create 'test','name','company' 创建表,如下图

     phoenix安装及使用详细步骤

      下面的视图映射和表映射均基于该表。

3.5.2    视图映射

    Phoenix创建的视图是只读的,所以只能用来做查询,无法通过视图对源数据进行修改等操作。而且相比于直接创建映射表,视图的查询效率会低,原因是:创建映射表的时候,Phoenix会在表中创建一些空的键值对,这些空键值对的存在可以用来提高查询效率。

       1)创建视图

create view"test"(empid varchar primarykey,"name"."firstname" varchar,"name"."lastname"varchar,"company"."name"     varchar,"company"."address"varchar);

       2)删除视图

       drop view "test";

3.5.3   表映射

  使用Apache Phoenix创建对HBase的表映射,有两种方法:

    1) 当HBase中已经存在表时,可以以类似创建视图的方式创建关联表,只需要将create view改为create table即可。

    2)当HBase中不存在表时,可以直接使用create table指令创建需要的表,并且在创建指令中可以根据需要对HBase表结构进行显示的说明。

    第1)种情况下,如在之前的基础上已经存在了test表,则表映射的语句如下:

create table "test"(empid varchar primarykey,"name"."firstname"varchar,"name"."lastname"varchar,"company"."name" varchar,"company"."address"varchar);

     第2)种情况下,直接使用与第1)种情况一样的create table语句进行创建即可,这样系统将会自动在Phoenix和HBase中创建person_infomation的表,并会根据指令内的参数对表结构进行初始化。

    使用create table创建的关联表,如果对表进行了修改,源数据也会改变,同时如果关联表被删除,源表也会被删除。但是视图就不会,如果删除视图,源数据不会发生改变。

4    SQuirrel使用

   如果希望通过客户端以图形化的界面操作Phoenix的话,可以下载并安装SQuirrel。

    SQuirrel SQL Client是一个用Java写的数据库客户端,可以通过一个统一的用户界面来操作MySQL 、PostgreSQL 、MSSQL、 Oracle等任何支持JDBC访问的数据库。使用起来非常方便。

    SQuirrel下载页面:http://squirrel-sql.sourceforge.net/#installation

    SQuirrel的安装步骤(参考https://phoenix.apache.org/installation.html):

    1)移除SQuirrel的lib文件夹下的phoenix-[oldversion]-client.jar(如果有的话),然后拷贝phoenix-[newversion]-client.jar到SQuirrel的lib文件夹下,phoenix-[newversion]-client.jar须与欲连接的hbase的lib下的phoenix版本一致。

    2)windows下,运行squirrel-sql.bat启动SQuirrel,在启动界面下,切换到Drivers选项卡,点击+号添加新的驱动。

    3)在添加驱动对话框中,设置name为Phoenix,设置Example URL为 jdbc:phoenix:localhost,其中的localhost为hbase使用的Zookeeper主机名。

    4)设置Class Name文本框的内容为 “org.apache.phoenix.jdbc.PhoenixDriver”, 如图4.1,然后点击“OK”关闭。

    5)切换到Aliases选项卡,点击+新建一个alias。

    6)在对话框中,name:任何名称,Driver:选择phoenix,username、password可省略,或者填任意值均可。

    7)URL的内容为:jdbc:phoenix: zookeeperquorum server,例如,要连接本机的hbase,URL为:jdbc:phoenix:localhost,如图4.2。

    8)点击Test,在新对话框中选择connect,如果一切设置正确的话,应该连接成功,然后点击OK关闭对话框。

    9)双击新建的phoenix alias,点击connect,然后就可以通过phoenix的sql语句操作hbase了,如图4.3。

phoenix安装及使用详细步骤

图4.1 新建Driver

phoenix安装及使用详细步骤

图4.2 新建Alias

phoenix安装及使用详细步骤

图 4.3 建立连接



为防止原文丢失找不到,特转载自:https://blog.csdn.net/zlj_blog/article/details/76173844