Linux里面hive是个数据库吗

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

应该是Hadoop在hbase和Hive中的作用吧。 hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。而hbase是作为分布式数据库，而hive是作为分布式数据仓库。当然hive还是借用hadoop的MapReduce来完成一些hive中的命令的执行。而hbase与hive都是单独安装的。你需要哪个安装哪个，所以不存在重复信息。

hbase在三者中更注重的是存储，它实现了类似mysql的double write机制，但是它是一种NoSQL的数据库，并且是可以支持列式存储的，算是比较大的一个内存Hash表。hbase也采用了类似mysql中的mvcc的思想通过时间戳来做版本控制。

hbase是在hdfs基础之上的，可以算是数据的一种组织方式，是一种基于hadoop的分布式数据库系统。从数据库的角度来说，与mysql处在同一个层次，都是基于文件系统之上的管理数据的一种方法。

hbase作为面向列的数据库，支持按列读取和行读取，并解决了关系型数据库的分表的一些需求，如:关系型数据库中有些表的列重复数据太多了，需要重新建表来存重复列的数据，减少表的大小。

hive和impala则更偏向于查询分析，impala需要依赖hive的元数据，它们都有自己的查询分析引擎，只是impala是纯查询分析引擎。

hive 本身并不执行任务的分析过程，而是推给了mapreduce,这点与impala大不同,hive本身提供了数据的格式化输出功能,但是hive转换的mr可能不是最高效的，调优方式有限，很多复杂的算法没有办法表达，毕竟sql的语义表达能力有限。

hive与impala在查询分析这部分,hive明显的支持程度要比impala高,提供了很多内部函数，并且支持UDAF,UDF的方式

从数据库特性角度来看，hive与hbase的对比,hive不能修改数据，只能追加的方式，hbase允许增加和删除数据,hive不支持索引，impala和hive都是没有存储引擎的，hbase算是有自己的存储引擎。

在使用层面上来看，hive在使用上更像数据库，它提供非常丰富的系统函数，各种数据的 *** 作，hbase在这方面就不太像一般的关系型数据库，它还是一个key-val的NoSQL,这方面的 *** 作支持很有限，impala在这方面也是比较弱。

在计算模型层面上来看，hive是通过MR来计算的，这是一个偏向挪动数据到mr的计算节点来计算的模型，而impala则更多的是移动计算需求到DN上来做，数据不用动，最后变成了本地的磁盘IO。

楼主说的是Hive，不是HBase。从Oracle里面头导出数据为平面文件后，导入HDFS里面。Hive里面的表结构是要自己手工定的。

建表可以自己写个小程序实现，根据oracle字典表和hive的建表规则，每个地方使用hive的情景不同，建表也不同。数据装载可以用sqoop来实现。

你可以安装下SQOOP，注意这个跟HADOOP的版本要对应的，不然会出现一些问题。以下是我项目用到的例子，不过我有个更高级的方法，只需配到表就行了，就是写个JAVA程序，然后自动生成对应的脚本，再执行就可以了。转载，仅供参考。

1、首选在编译安装MySQL的时候指定两个参数使用utf8编码。 2、次选在配置文件mycnf或myini设定两个参数，同时设置init_connect参数。 3、第三在配置文件mycnf或myini设定两个参数，同时客户端的连接指定set names命令。 4、在配置文件mycnfhive数据仓库和关系型数据库mysql的区别

由于版本的不同，Python 连接 Hive 的方式也就不一样。

在网上搜索关键字 python hive 的时候可以找到一些解决方案。大部分是这样的，首先把hive 根目录下的$HIVE_HOME/lib/py拷贝到 python 的库中，也就是 site-package 中，或者干脆把新写的 python 代码和拷贝的 py 库放在同一个目录下，然后用这个目录下提供的 thrift 接口调用。示例也是非常简单的。类似这样：

import sys

from hive_service import ThriftHive

from hive_servicettypes import HiveServerException

from thrift import Thrift

from thrifttransport import TSocket

from thrifttransport import TTransport

from thriftprotocol import TBinaryProtocol

def hiveExe(sql):

try:

transport = TSocketTSocket('127001', 10000)

transport = TTransportTBufferedTransport(transport)

protocol = TBinaryProtocolTBinaryProtocol(transport)

client = ThriftHiveClient(protocol)

transportopen()

clientexecute(sql)

print "The return value is : "

print clientfetchAll()

print ""

transportclose()

except ThriftTException, tx:

print '%s' % (txmessage)

if __name__ == '__main__':

hiveExe("show tables")1234567891011121314151617181920212223242526272812345678910111213141516171819202122232425262728

或者是这样的：

#!/usr/bin/env python

import sys

from hive import ThriftHive

from hivettypes import HiveServerException

from thrift import Thrift

from thrifttransport import TSocket

from thrifttransport import TTransport

from thriftprotocol import TBinaryProtocol

try:

transport = TSocketTSocket('1418154188', 10000)

transport = TTransportTBufferedTransport(transport)

protocol = TBinaryProtocolTBinaryProtocol(transport)

client = ThriftHiveClient(protocol)

transportopen()

clientexecute("CREATE TABLE r(a STRING, b INT, c DOUBLE)")

clientexecute("LOAD TABLE LOCAL INPATH '/path' INTO TABLE r")

clientexecute("SELECT FROM test1")

while (1):

row = clientfetchOne()

if (row == None):

break

print rowve

clientexecute("SELECT FROM test1")

print clientfetchAll()

transportclose()

except ThriftTException, tx:

print '%s' % (txmessage)

12345678910111213141516171819202122232425262728293031323334351234567891011121314151617181920212223242526272829303132333435

但是都解决不了问题，从 netstat 中查看可以发现 TCP 连接确实是建立了，但是不执行 hive 指令。也许就是版本的问题。

还是那句话，看各种中文博客不如看官方文档。

项目中使用的 hive 版本是013，此时此刻官网的最新版本都到了121了。中间间隔了120、110、100、0140。但是还是参考一下官网的方法试试吧。

首先看官网的 setting up hiveserver2

可以看到启动 hiveserver2 可以配置最大最小线程数，绑定的 IP，绑定的端口，还可以设置认证方式。（之前一直不成功正式因为这个连接方式）然后还给了 python 示例代码。

import pyhs2

with pyhs2connect(host='localhost',

port=10000,

authMechanism="PLAIN",

user='root',

password='test',

database='default') as conn:

with conncursor() as cur:

#Show databases

print curgetDatabases()

#Execute query

curexecute("select from table")

#Return column info from query

print curgetSchema()

#Fetch table results

for i in curfetch():

print i123456789101112131415161718192021123456789101112131415161718192021

在拿到这个代码的时候，自以为是的把认证信息给去掉了。然后运行发现跟之前博客里介绍的方法结果一样，建立了 TCP 连接，但是就是不执行，也不报错。这是几个意思？然后无意中尝试了一下原封不动的使用上面的代码。结果可以用。唉。。。

首先声明一下，hive-sitexml中默认关于 hiveserver2的配置我一个都没有修改，一直是默认配置启动 hiveserver2。没想到的是默认配置是有认证机制的。

然后再写一点，在安装 pyhs2的时候还是遇到了点问题，其实还是要看官方文档的，我只是没看官方文档直接用 pip安装导致了这个问题。安装 pyhs2需要确定已经安装了几个依赖包。直接看在 github 上的 wiki 吧。哪个没安装就补上哪一个就好了。

To install pyhs2 on a clean CentOS 64 64-bit desktop

(as root or with sudo)

以上就是关于Linux里面hive是个数据库吗全部的内容，包括:Linux里面hive是个数据库吗、hive和hbase有什么关系和区别、hive，impala，kfk，hbase，mitaka的关系是怎样的等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！