利用heartbeat和drbd实现HDFS的双机热备

利用heartbeat和drbd实现HDFS的双机热备

written by aaronwxb，2012.03.30

主要原理：

利用DRBD实现共享存储空间，在主服务器(primary)将元数据写入本机时同时要写入备份节点（secondary），才算一次写操作完成，实现元数据的实时备份。

利用heartbeat实现自动切换功能，双方之间发送心跳，若备份节点一旦其无法检测到主服务器的“心跳”则自动接管主服务器的资源。

虚拟机环境配置：

用vbox安装虚拟机，OS为ubuntu11.10，虚拟机双网卡，网卡配置为桥接方式，主要设置如下： 主机 master(主节点) IP地址 eth0: 192.168.123.41 eth1: 192.168.123.42 (HA心跳使用地址) eth0:0: 192.168.123.40 (虚拟IP) backup（从节点） eth0: 192.168.123.44 eth1: 192.168.123.46 (HA心跳使用地址) eth0:0: 192.168.123.40 (虚拟IP) slave（数据节点） eth0:192.168.123.47 配置 容量：G 接口标准： 转速：rpm 缓存容量：M 平均寻道时间：ms 传输标准： 容量：G 接口标准： 转速：rpm 缓存容量：M 平均寻道时间：ms 传输标准： master： 网卡配置：

bobo@master:~$ cat /etc/network/interfaces

auto lo

iface lo inet loopback

auto eth0

iface eth0 inet static

address 192.168.123.41 netmask 255.255.255.0 gateway 192.168.123.1

auto eth1

iface eth1 inet static address 192.168.123.42 netmask 255.255.255.0

hosts文件

bobo@master:~$ cat /etc/hosts 127.0.0.1 localhost

127.0.1.1 bobo-VirtualBox

192.168.123.41 master 192.168.123.44 backup 192.168.123.47 slave

192.168.123.40 vip

192.168.123.42 master 192.168.123.46 backup

backup： 网卡配置：

bobo@backup:~$ cat /etc/network/interfaces auto lo

iface lo inet loopback

auto eth0

iface eth0 inet static

address 192.168.123.44 netmask 255.255.255.0 gateway 192.168.123.1

auto eth1

iface eth1 inet static

address 192.168.123.46 netmask 255.255.255.0

hosts文件

同master

slave(datanode)： 网卡配置：

bobo@slave:~$ cat /etc/network/interfaces auto lo

iface lo inet loopback

auto eth0

iface eth0 inet static

address 192.168.123.47 netmask 255.255.255.0 gateway 192.168.123.1

hosts文件

同master

配置SSH无密码访问：

master

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> authorized_keys

backup

关闭selinux(所有机器)

SELinux是一种基于 域-类型 模型（domain-type）的强制访问控制（MAC）安全系统，它由NSA编写并设计成内核模块包含到内核中，相应的某些安全相关的应用也被打了SELinux的补丁，最后还有一个相应的安全策略。Lustre存储服务器和元数据目录服务器通信会使用一些特殊端口，最好关闭SELINUX。

编辑文件/etc/sysconfig/selinux，设置： SELINUX=disabled 然后reboot

没有selinux

关闭防火墙（所有机器）

如果系统启动了Iptables服务，需要为相关服务打开端口 (988， 1021 ~ 1023等)，简单的处理是关闭防火墙。

#清除规则 iptables –F #保存

service iptables save

chkconfig --level 2345 iptables off service iptables stop

没有防火墙ufw

iptables没有开启，默认都是ACCEPT

DRBD部署 原理

DRBD（Distributed Replicated Block Device）是基于Linux系统下的块复制分发设备。它可以实时的同步远端主机和本地主机之间的数据，类似与Raid1的功能，我们可以将它看作为网络 Raid1。在服务器上部署使用DRBD，可以用它代替共享磁盘阵列的功能，因为数据同时存在于本地和远端的服务器上，当本地服务器出现故障时，可以使用远端服务器上的数据继续工作，如果要实现无间断的服务，可以通过drbd结合另一个开源工具heartbeat，实现服务的无缝接管。DRBD的工作原理如下图：

编译linux内核

由于2.4.9缺少CONNECTOR，导致drbd无法安装，因此必须编译内核。

linux内核2.6之后就带有CONNECTOR，这里用的是： bobo@master:~$ uname -a

Linux master 3.0.0-12-generic #20-Ubuntu SMP Fri Oct 7 14:50:42 UTC 2011 i686 i686 i386 GNU/Linux

安装drbd

分别在两台主机上安装。 sudo apt-get install drbd8-utils

配置drbd

1.DRBD使用的硬盘分区

这两个分区的大小必须相同。

为虚拟机master和backup添加一块虚拟硬盘，大小为2G，利用fdisk分区，得到：

Disk /dev/sdb: 2147 MB, 2147483648 bytes

22 heads, 16 sectors/track, 11915 cylinders, total 4194304 sectors Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x80d3501f

Device Boot Start End Blocks Id System

/dev/sdb1 2048 4194303 2096128 5 Extended /dev/sdb5 4096 4194303 2095104 83 Linux

我们指定两台主机的/dev/sdb5分区作为DRBD的使用的分区.这两个分区大小都为2G。分区需为空白。

主机1 ：master, IP地址为 192.168.123.42，DRBD分区为/dev/sdb5 主机2 ：backup,IP地址为 192.168.123.46，DRBD分区为/dev/sdb5 这里用eth1作为两个主机的通信接口。

2.drbd.conf配置文件

DRBD运行时，会读取一个配置文件/etc/drbd.conf。这个文件里描述了DRBD设备与硬盘分区的映射关系，和DRBD的一些配置参数：

# 是否参加DRBD使用者统计.默认是yes global { usage-count yes; }

# 设置主备节点同步时的网络速率最大值,单位是字节. common { syncer { rate 10M; } }

# 一个DRBD设备(即:/dev/drbdX),叫做一个\资源\里面包含一个DRBD设备的主备节点的相关信息.

resource r0 {

# 使用协议C.表示收到远程主机的写入确认后,则认为写入完成. protocol C; disk {

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库利用heartbeat和drbd实现HDFS的双机热备在线全文阅读。