这次专门整理下多节点共享文件系统
背景
之前曾经安装过 Oracle RAC， 申请了多余的共享磁盘，配置了一下 OCFS2 系统， 挂载到所有节点，用于存放数据库备份， 这样的话， 备份的内容所有节点都可见。 当然了使用 Oracle ASM 的ACFS也行(以前做过，没记录，有空了再整理)。
这次呢，又一个新地方部署了同一个版本的RAC， 也想用相同方式，但在配置 OCFS2 的步骤 o2cb.init configure 步骤竟然报错，卡住了，时间比较紧， 最后，换 xfs 格式，只挂载在其中一个节点用于备份。
离开之后， 复盘了下原因， 是因为之前成功的 OCFS2 配置是在Oracle Linux 7 操作系统上，默认是 uek 内核启动， 默认是支持 OCFS2 文件系统的。 而我们这次呢，是 Redhat7 ， 默认是不支持 OCFS2 文件系统的。
今天，主要分享DRBD使用本地磁盘同步来配置OCFS2共享文件系统
DRBD是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。这就不多说了，出现很多年了，没钱买高大上硬件存储之前，一种廉价的高可用磁盘同步方案，但用起来真的不错。
日期: 2023-05-23
1 测试环境
oracle linux 7.9 (uek)测试组： 2台 使用 本地磁盘 无共享磁盘
2 准备工作
创建逻辑卷 /dev/vg1/lv1 和 /dev/vg1/lv2
#2个节点都是本地磁盘，创建lvm逻辑卷
pvcreate /dev/sdb
vgcreate vg1 /dev/sdb
lvcreate -n lv1 -l 40%VG vg1
lvcreate -n lv2 -l 40%VG vg1
ll /dev/vg13 主机配置 未特别指明，则所有节点都要执行
hostnamectl set-hostname db01 #主机1执行，设置主机名称
hostnamectl set-hostname db02 #主机2执行，设置主机名称
#关闭seliux， 防火墙允许drbd和ocfs端口
firewall-cmd --permanent --add-port=7788/tcp --add-port=7789/tcp --add-port=7777/tcp && firewall-cmd --reload && firewall-cmd --permanent --list-all
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config ; sed -i "s/SELINUX=permissive/SELINUX=disabled/g" /etc/selinux/config
setenforce 0
#安装软件包
yum -y install http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
yum -y install drbd90-utils kmod-drbd90
systemctl enable drbd --now
lsmod |grep drbd
#配置drbd
cat > /etc/drbd.d/global_common.conf << EOF
global {
usage-count no;
}
common {
net {
protocol C;
}
}
EOF
#drbd1不允许双主
cat > /etc/drbd.d/drbd1.res << EOF
resource drbd1 {
disk /dev/vg1/lv1;
device /dev/drbd1;
meta-disk internal;
on db01 {
address 192.168.55.144:7788;
}
on db02 {
address 192.168.55.185:7788;
}
}
EOF
#drbd2允许双主
cat > /etc/drbd.d/drbd2.res << EOF
resource drbd2 {
net {
allow-two-primaries;
}
disk /dev/vg1/lv2;
device /dev/drbd2;
meta-disk internal;
on db01 {
address 192.168.55.144:7789;
}
on db02 {
address 192.168.55.185:7789;
}
}
EOF
drbdadm create-md drbd1 #初始化资源
drbdadm up drbd1 #启动资源
drbdadm primary drbd1 --force #节点1执行 设置主设备
drbdadm role drbd1 #查看资源角色 此时是主从
drbdadm status drbd1 #查看状态
drbdsetup status drbd1 --verbose --statistics #查看同步状态
drbdadm create-md drbd2 #初始化资源
drbdadm up drbd2 #启动资源
drbdadm primary drbd2 --force #节点1执行 设置主设备
drbdadm primary drbd2 #节点2执行 设置主设备
drbdadm role drbd2 #查看资源角色 此时是双主架构
drbdadm status drbd2 #查看状态
drbdsetup status drbd2 --verbose --statistics #查看同步状态
#以下是测试 drbd1 主从，顺带测试 和ocfs2没关系
#节点1执行
parted /dev/drbd1 mklabel gpt
parted /dev/drbd1 mkpart p1 ext4 1 100%
mkfs.xfs /dev/drbd1 -f
mkdir /u01 && mount /dev/drbd1 /u01
date > /u01/test ; cat /u01/test
umount /u01
drbdadm secondary drbd1
echo '[ "$(drbdadm role drbd1)" = "Secondary/Secondary" ] && drbdadm primary drbd1 ; sleep 10 ; [ "$(drbdadm role drbd1)" = "Primary/Secondary" ] && mount /dev/drbd1 /u01' >> /etc/rc.local #持久化磁盘挂载
#节点2执行
drbdadm primary drbd1
mkdir /u01 && mount /dev/drbd1 /u01
cat /u01/test
echo '[ "$(drbdadm role drbd1)" = "Primary/Secondary" ] && mount /dev/drbd1 /u01' >> /etc/rc.local #持久化磁盘挂载
#测试结果： 主从同步没问题，主可以挂载，任何修改会同步到从，可以角色切换，将从升为主，挂载4 ocfs2配置
注意 name 要和机器 hostname 一致
yum -y install ocfs2-tools
yum -y install ocfs2-tools-devel #linux 7 only
[ -d /etc/ocfs2 ] || mkdir -p /etc/ocfs2
cat >/etc/ocfs2/cluster.conf <> /etc/rc.local 测试
#在crontab job中添加如下内容
* * * * * echo ${HOSTNAME} $(date) >> /u02/test.log结论
可以同时挂载，2节点都可以写入数据并互相可见
关机， 重启均按照指令执行，没有问题
5 其他 drbd 命令
#查看同步
drbdadm status drbd1
drbdsetup status drbd1 --verbose --statistics
#查看和切换资源角色
drbdadm role drbd1
drbdadm primary drbd1
drbdadm secondary drbd1
#查看资源状态
drbdadm dstate drbd1
drbdadm cstate drbd1
#脑裂
1. 从节点
drbdadm secondary drbd1
drbdadm -- --discard-my-data connect drbd1
2. 主节点
drbdadm connect drbd1