python怎么将数据存入到kudu中

你好，python有一个kudu的包，你需要安装相关的东西如下

yum install kudu-client-devel kudu-client0

yum install gcc

yum install gcc-c++

pip2.7 install Cython

pip2.7 install kudu-python

然后下面是例子代码：

import kudu

from kudu.client import Partitioning

from datetime import datetime

# Connect to Kudu master server

client = kudu.connect(host='kudu.master', port=7051)

# Define a schema for a new table

builder = kudu.schema_builder()

builder.add_column('key').type(kudu.int64).nullable(False).primary_key()

builder.add_column('ts_val', type_=kudu.unixtime_micros, nullable=False, compression='lz4')

schema = builder.build()

# Define partitioning schema

partitioning = Partitioning().add_hash_partitions(column_names=['key'], num_buckets=3)

# Create new table

client.create_table('python-example', schema, partitioning)

# Open a table

table = client.table('python-example')

# Create a new session so that we can apply write operations

session = client.new_session()

# Insert a row

op = table.new_insert({'key': 1, 'ts_val': datetime.utcnow()})

session.apply(op)

可以通过映射表方式实现。下面说得略细，需要耐心看并做参考：

首先要知道目前（2017.05.04）kudu没有timestamp与decimal类型，需要用其它类型代替，比如timestamp可以用长bigint代替，decimal可以用double型代替。

如果想在kudu中创建一个新表，并将数据导入到这个新表中，那么比较简单的方式是通过impala建立kudo的内部映射表，因为建立内部映射表过程会同时建立一个kudu新表并在impala中建立一个内部映射表，建立方法如下:

首先保证kudu正确安装并且master与tserver服务都正常运行，然后在impala shell中输入

create table table_name (

column1 type primary key ...,

column2 type,

...

)

partition by hash(column1) partitions n stored as kudu

这样就在kudu中建立好表了，下一步就可以通过impala的映射表向这个kudu表中导入数据了（table_name要用自己取的表名代替，columnN也要用自己取的列名代替。）（如果建立列集主键，方式为primary key(column1, column2, column3)，具体如何建立这里就不细说了）（顺便说一下：这样建立的kudu中的表名为：impala::database_name.table_name）。

如果kudu中已经存在一个现有表，您想将impala表中数据导入到这个现有kudu表中，那么需要在impala中建立外部映射表，方法是：

create external table table_name

stored as kudu

tblproperties('kudu.table_name' = 'kudu中的table_name')

这样就建立完成了。

在impala shell 中执行：

insert into table_name select * from 你的impala表

就可以将你的表数据导入到新表了。

最后提及：kudu表必须有主键或者列集主键，可能你的表没有主键或列集主键，而你的表第一列或对应列集的前几列又有重复数据，这种情况下你的表导入后会有数据丢失，比较简单的解决方法是：

在建立kudu表时增加一个专门的主键，放在第一列。然后：

insert into table_name select row_number() over(order by 你的impala表中任意一列名), * from 你的impala表

接着再看一下源表的数据量和部分数据

最后看看落盘到kudu表里的信息

总结: range分区没有覆盖的数据不会落盘到kudu表中,且kudu表在upsert时根据主键自动判断是update *** 作还是insert *** 作,主键重复的数据进行update *** 作

理论上这样分区已经对id数据进行了全覆盖,但是实际上落盘数据为0.

总结: 在做数据导入时,主键的数据类型要一一对应,若数据类型不对应,数据无法落盘(oracle的number类型进行数据类型匹配时要特别注意)

---