HBase rowkey设计原则

原创 BAT笔试面试勇哥聊IT

HBase是按rowkey的ASCII字典顺序进行全局排序的，逐位比较，如果每一位都相同，更短者排在前面。

HBase rowkey这种有序特性：

优点：适合于批量扫描，读取相关的数据；

缺点：容易造成部分RegionServer热点问题。

Rowkey设计原则

1、唯一性原则

每一行数据的rowkey必须唯一

2、长度原则

rowkey最大长度为16kb，越短越好，尽量不要超过16字节。

如：单条rowkey=100字节，则1000w行数据，光rowkey需要消耗100*1000w~10亿字节~1GB

（1）短的rowkey可以提高数据缓存的利用率，即可以缓存更多的数据，而不是rowkey

（2）操作系统是64位，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。

3、散列原则

数据尽量均匀分布在不同的RegionServer上，防止热点问题。

解决热点问题

1、加盐

（1）在原始rowkey添加一个随机数前缀，随机数的总数通常等于region的数量

（2）如：4个分区，设定随机数为 ‘a’,'b','c','d'

row(001)=b001 （前缀‘b’完全随机获得、下同）

row(002)=d002

row(003)=c003

（3）优点：是增加了写的吞吐量（每个region都分摊部分写），缺点：是增加了读的消耗（想准确get一条数据，需要每个region都get一下）

2、hash

（1）将原rowkey进行hash，然后截取hash后的末几位，作为前缀与原始rowkey拼接形成rowkey。

（2）如：计算138xxx 的rowkey

a=md5(138xxx)

b=截取a的后4位

rowkey=b+138xxx

（3）优缺点：利于get，不利于scan

3、反转

（1）针对固定长度或者数字类型的rowkey，可以将其反转，增加该rowkey的随机性。

（2）如：计算用于 1002,1003,2002,3002 几位用户的rowkey

rowkey(1002)=2001

rowkey(1003)=3001

rowkey(2002)=2002

rowkey(3002)=2003

（3）优缺点：利于get，不利于scan