每天认识一个组件:Apache HBase
HBase 的价值来自一个清晰的工程取舍:放弃部分关系数据库能力,换取在 Hadoop/HDFS 之上的海量稀疏表存储、严格一致随机读写和水平扩展能力;HBase 适合“大规模、Key-Value/宽表、强一致、随机读写、可水平扩展”的场景。
HBase项目实践-基于HBase Java客户端API封装读写操作(1)
当前HBase 有两个主要的版本,分别是 1.x 和 2.x ,两个版本的 Java API略有不同,1.x 中某些方法在 2.x 中被标识为 @deprecated 过时。因此,在示例项目中,关于HBase Java API 的样例,我会分别给出 1.2 和 2.2.
大数据HBase Java API编程实例-HBaseConn和HBaseUtil工具类
HBase属于列式数据库,当数据量达到亿级别时可以考虑使用HBase。前面章节,我们介绍了HBase Shell常用操作。本章将介绍如何基于Java API 实现对HBase的远程操作,包括创建表、增加数据和查询数据等等。下面表格是HBase Java API常用的Java类。
列式数据库HBase v2.2.3 最新版伪分布式模式安装和配置
HBase有三种运行模式:单机模式(Standalone Mode),伪分布式模式(Pseudo-Distrubuted Mode),以及分布式模式(Full-Distributed Mode)。可以选择三种模式中一种来安装HBase。在上一章上介绍了HBase v2.2.
HBase v2.2.3 完全分布式集群安装和配置
我们已经完成了Hadoop 3.1.2全分布式集群安装和配置。在此基础上,我们继续进行HBase 2.2.3 分布式安装部署。一、下载新版HBase可以到下面的国内镜像站点,快速下载新版的HBase 发布版本。https://mirrors.tuna.tsinghua.edu.
HBase项目实践-对封装的HBase API进行单元测试和导入测试数据
通过单元测试的方式对前面封装的HBase Java API 进行测试,包括如下内容:创建和获取namespace;创建和删除table;清理table中全部数据记录;插入单条数据和批量插入多条数据;基于BufferedMutator实现批量插入数据;根据Rowkey获取单条记录和
HBase项目实践-使用Java API创建预分区和分区合并操作
一、为什么需要预分区?HBase分区Split 是一个很重要的功能,HBase 通过把数据分配到一定数量的 Region 来达到负载均衡的。
hbase入门简介、Hadoop的局限、HBase应用场景、HBase 与 NoSQL
hbase简介1 Hadoop大数据技术出现后,很多拥有海量数据的公司开始选择像Hadoop的方式来存储海量数据Hadoop使用分布式文件系统HDFS来存储海量数据,并使用 MapReduce 来处理。
HBase项目实践-基于HBase Java客户端API封装读写操作(2)
本章继续介绍用于对HBase表上执行CRUD操作的HBase Java客户端API。HBase是用Java编写的,并具有Java原生API。HBase 主要包括 5 大类操作:HBase 的配置、HBase 表的管理、列族的管理、列的管理、数据操作等。
大数据读写-HBase Java API编程实例-单元测试和shell命令验证
在上一章中,我们已经完成了HBaseConn和HBaseUtil工具类的开发,本章我们将对应的单元测试方法,进行测试验证。一、启动HBase为了测试前面编写的HBaseUtil方法,我们需要先启动HBase。在本地开发测试时,只需要启动HBase单机版模式就可以了。