C# 在Hbase 中分批查询数据

C# 在Hbase 中分批查询数据

 hbase对于C# 这块的使用资料太少了，之前一直是索取，今天我也为社区做点贡献，将我所用到的贴出来，希望能帮忙到后面的童鞋。免得再去花费时间去做相同得事情。
 最近也是有个项目用到了hbase，于是开始研究hbase的一些shell命令，以及C# 如何调用hbase api接口。 我使用了thrift的方式调用。
 这个功能是需要hbase中分批查询数据，废话不多说，直接上贴代码。
  public async Task> GetRowKeysByConditionAsync(HbaseTScanCondition entity)
    {
        TSocketTransport transport = null;
        try
        {
            TScan scan = new TScan();
            scan.Columns = entity.Columns;
            scan.FilterString = Encoding.UTF8.GetBytes(entity.FilterString);
            #region 处理数据通道
            transport = this.GetTransport();
            TBinaryProtocol tProtocol = new TBinaryProtocol(transport);
            if (!transport.IsOpen)
            {
                CancellationToken cancellationToken = new CancellationToken();
                await transport.OpenAsync(cancellationToken);
            }
            THbaseService.Client client = new THbaseService.Client(tProtocol);
            #endregion
            List list = new List();
            var id = await client.openScanner(Encoding.UTF8.GetBytes(entity.TableName), scan);
            int count = 0;
            do
            {
                var rows = await client.getScannerRows(id, entity.NumRow);
                foreach (var item in rows)
                {
                    var res = item.ColumnValues;
                    foreach (var item1 in res)
                    {
                        string rowKey = Encoding.UTF8.GetString(item.Row);
                        list.Add(rowKey);
                    }
                }
                count = rows.Count;
            } while (count > 0 && count == entity.NumRow);
            client.closeScanner(id).ConfigureAwait(false).GetAwaiter().GetResult();
            return list;
        }
        catch (Exception ex)
        {
        }
        finally
        {
            if (transport.IsOpen)
            {
                transport.Close();
            }
        }
        return null;
    }

这个方法是我用来查询满足过滤条件的RowKey的集合的，HbaseTScanCondition 是我自定义的类，这里我也贴出来

public class HbaseTScanCondition
{
public string TableName { get; set; }
public string Family { get; set; }
public List Columns { get; set; } //需要查询出来的列集合
public string FilterString { get; set; }
///
/// 每次查询的行数
///
public int NumRow { get; set; }
}
hbase里面用的最多的是RowKey，而且需要 *** 作的使用能用RowKey的尽量用RowKey。这个方法我直接查询出满足条件的RowKey,之后你可以再进行其他的对应 *** 作。
这里其实最关键的是FilterString该怎么写，这个我也是花了很久的时间去研究这个，幸没有白费。这里的FilterString就是对应hbase shell里面的命令的过滤器。
对应的hbase过滤器，我放在下个文章里面介绍。这里我先直接跳过。
我在这里举一个FilterString的实例：

string FilterString=“PrefixFilter(‘00’)”； //这个是匹配行键前缀为00开始的所有行键的；
这里直接将FilterString的字符串传给HbaseTScanCondition.FilterString 中

在hbase shell使用中的实例如下：
scan ‘student’,{LIMIT=>10,FILTER=>“PrefixFilter(‘00’)”}