hadoop零基础学习

(4)vi /etc/profile (5)source /etc/profile

4.2 修改$HBASE_HOME/conf/hbase-env.sh，修改内容如下： cd hbase/conf vi hbase -env.sh

export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true (表示hbase自己管理zookeeper)

4.2 修改$HBASE_HOME/conf/hbase-site.xml，修改内容如下： hbase.rootdir hdfs://chaoren:9000/hbase hbase.cluster.distributed true hbase.zookeeper.quorum chaoren dfs.replication 1

4.3 (可选)文件regionservers的内容为chaoren 4.4 启动hbase，执行命令start-hbase.sh ******启动hbase之前，确保hadoop是运行正常的，并且可以写入文件*******

4.5 验证：(1)执行jps，发现新增加了3个java进程，分别是HMaster、HRegionServer、HQuorumPeer

(2)使用浏览器访问http://hadoop0:60010

stop-all.sh start-all.sh

zkServer.sh start start-hbase.sh

hadoop-daemon.sh stop datanode

hadoop-daemon.sh start datanode hadoop-daemon.sh stop tasktracker

hadoop-daemon.sh start tasktracker

启动，在三个节点上分别执行命令zkServer.sh start 2.10 检验，在三个节点上分别执行命令zkServer.sh status 检验是否为leader start-hbase.sh

4. HBASE的数据模型,基础知识

4.1. Row key (行键),类似于MYSQL的主键 4.2. 列族(column family),列的集合

4.3. Timestamp,列的一个属性，数据具有版本性, 默认取最新的数据 4.4. 存储的都是字节数组, 4.5. 按照行键的顺序物理存储 5. HBASE的物理模型

5.1. 适合海量查询(如20PB)的秒级简单查询

5.2. HBASE中的记录，按照行键进行拆分,拆分成一个个region

Region存储在region server(单独的物理器)中的,对多台region server并行查询 Hbase-default.xml可以配置数据容量大小 6. Hbase的体系结构

6.1. Hbase是主从结构,HMaster,HRegionServer. 7. HBASE伪分布安装

7.1. 解压缩,重命名,设置环境变量

7.2. 修改$HBASE_HOME/conf/hbase-env.sh,修改内容如下: Export JAVA_HOME=/usr/local/jdk Export HBASE_MANAGES_ZK=true 7.3. 修改hbase-site.xml,修改内容如下: 见hbase.ppt第16页

7.4. 可选文件regionserver的内容为hadoop0 7.5. 启动hbase，执行命令start-hbase.sh

7.6. 验证:jps，三个进程,HMASTER,HREGIONSERVER,HQUORUMPER 证明成功 8. HBAE-SHELL (简单查询)

8.1. 输入命令Hbase shell

8.2. 创建表: create 'users','user_id','address','info' users:是表名 其它的是列名 8.3. list:查看表

8.4. Describe ‘users’:查看表信息

8.5. 删表步骤:(1)Disable ‘users’ :设置表失效 (2)Drop ‘users’

8.6. 插入:

put 'users','xiaoming','info:age','24';

put 'users','xiaoming','info:birthday','1987-06-17'; put 'users','xiaoming','info:company','alibaba'; put 'users','xiaoming','address:contry','china';

put 'users','xiaoming','address:province','zhejiang'; put 'users','xiaoming','address:city','hangzhou'; put 'users','zhangyifei','info:birthday','1987-4-17'; put 'users','zhangyifei','info:favorite','movie'; put 'users','zhangyifei','info:company','alibaba'; put 'users','zhangyifei','address:contry','china';

put 'users','zhangyifei','address:province','guangdong'; put 'users','zhangyifei','address:city','jieyang'; put 'users','zhangyifei','address:town','xianqiao'; 8.7. 获取记录:

1.取得一个id的所有数据 >get 'users','xiaoming'

2.获取一个id，一个列族的所有数据 >get 'users','xiaoming','info'

3.获取一个id，一个列族中一个列的所有数据 get 'users','xiaoming','info:age'

9. HBASE集群搭建

9.1. 集群结构, 主节点(hmaster)是hadoop0,从节点 (region server)是hadoop1和hadoop2 9.2. 修改hadoop0上的hbase的几个文件:

修改hbase-env.sh的最后一行export HBASE_MANAGE_ZK=false

修改hbase-site.xml文件的hbase.zookeeper.qurom的值为hadoop0,hadoop1,hadoop2 修改regionservers文件(存放的region server 的hostname),增加hadoop1,hadoop2

9.3. 复制hadoop0中的hbase文件夹到hadoop1,hadoop2中

复制hadoop0中的/etc/profile到hadoop1,hadoop2中,在hadoop1,hadoop2上执行 Source /etc/profile

9.4. 首先启动hadoop,还要启动zookeeper集群 最后在hadoop0上启动hbase集群.

Hbase补充

1.HBase(NoSQL)的数据模型

1.1 表(table)，是存储管理数据的。

1.2 行键(row key)，类似于MySQL中的主键。 行键是HBase表天然自带的。 1.3 列族(column family)，列的集合。

HBase中列族是需要在定义表时指定的，列是在插入记录时动态增加的。 HBase表中的数据，每个列族单独一个文件。

1.4 时间戳(timestamp)，列(也称作标签、修饰符)的一个属性。

行键和列确定的单元格，可以存储多个数据，每个数据含有时间戳属性，数据具有版本特性。

如果不指定时间戳或者版本，默认取最新的数据。 1.5 存储的数据都是字节数组。

1.6 表中的数据是按照行键的顺序物理存储的。

2.HBase的物理模型

2.1 HBase是适合海量数据(如20PB)的秒级简单查询的数据库。

2.2 HBase表中的记录，按照行键进行拆分， 拆分成一个个的region。 许多个region存储在region server(单独的物理机器)中的。 这样，对表的操作转化为对多台region server的并行查询。 hbase-default.xml

hbase.hregion.max.filesize 48.24

3.HBase的体系结构

3.1 HBase是主从式结构，HMaster、HRegionServer hbase中有两张特殊的表

meta :记录了用户表的region信息 root :记录了.meta表的region信息

4.HBase伪分布安装

4.1 解压缩、重命名、设置环境变量

(1)C:\\e\\hadoop\\begin\\学员复制整个文件夹(hadoop1)\\学员复制整个文件夹\\software\\hbase-0.94.7-security.tar.gz 把此压缩包上传到usr/local下 (2)解压 tar -xzvf

(3)mv hbase-0.94.... hbase (4)vi /etc/profile (5)source /etc/profile

4.2 修改$HBASE_HOME/conf/hbase-env.sh，修改内容如下： cd hbase/conf vi hbase -env.sh

export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true (表示hbase自己管理zookeeper)

4.2 修改$HBASE_HOME/conf/hbase-site.xml，修改内容如下： hbase.rootdir hdfs://chaoren:9000/hbase hbase.cluster.distributed true