hbase删除数据的几种方式(hbase真正删除数据)

   日期:2022-02-23     文章发布:文章发布    网络转载:生活号    
核心提示:写流程 1)Client向HregionServer发送写请求; 2)HregionServer将数据写到HLog(writeaheadlog)。为了数据的持久化和恢复; 3)HregionServer将数据写到内存(MemStore); 4)反馈Client写成功。 数据flush过程 1)当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时...
移动站源标题:http://mip.818114.com/news/item-175839.html

写流程

1)Client向HregionServer发送写请求;

2)HregionServer将数据写到HLog(write ahead log)。为了数据的持久化和恢复;

3)HregionServer将数据写到内存(MemStore);

4)反馈Client写成功。

数据flush过程

1)当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时删除HLog中的历史数据;

2)并将数据存储到HDFS中;

3)在HLog中做标记点。

数据合并过程

1)当数据块达到4块,Hmaster将数据块加载到本地,进行合并;

2)当合并的数据超过256M,进行拆分,将拆分后的Region分配给不同的HregionServer管理;

3)当HregionServer宕机后,将HregionServer上的hlog拆分,然后分配给不同的HregionServer加载,修改.META;

4)注意:HLog会同步到HDFS。

读流程

1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;

2)根据namespace、表名和rowkey在meta表中找到对应的region信息;

3)找到这个region对应的regionserver;

4)查找对应的region;

5)先从MemStore找数据,如果没有,再到StoreFile上读(为了读取的效率)。

Hmaster的职责

1)管理用户对Table的增、删、改、查操作;

2)记录region在哪台Hregion server上;

3)在Region Split后,负责新Region的分配;

4)新机器加入时,管理HRegion Server的负载均衡,调整Region分布;

5)在HRegion Server宕机后,负责失效HRegion Server 上的Regions迁移。

Hregionserver的职责

1)HRegion Server主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBASE中最核心的模块。

2)HRegion Server管理了很多table的分区,也就是region。

Client职责

1)HBASE Client使用HBASE的RPC机制与HMaster和RegionServer进行通信

2)管理类操作:Client与HMaster进行RPC;

3)数据读写类操作:Client与HRegionServer进行RPC。

免责声明:本网部分文章和信息来源于互联网,本网转载出于传递更多信息和学习之目的,并不意味着赞同其观点或证实其内容的真实性,如有侵权请通知我们删除!(留言删除
 
 
更多>同类行业

同类新闻
最新资讯
最新发布
最受欢迎
网站首页  |  黄页  |  联系方式  |  信息  |  版权隐私  |  网站地图  |  API推送  |  网站留言  |  RSS订阅  |  违规举报  |  京ICP备2000095号