概述

今天主要记录一下最近对ASM扩容的整体过程。

整体思路如下：

确定磁盘/dev/sdx--->获得wwid-->配置multipath.conf，指定别名-->编辑udev,关联前面的别名-->重启多路径和udev-->ASM扩容-->rebalance

环境：

1、操作系统版本 redhat 6.6

# more /etc/redhat-release

2、数据库版本 oracle 11g rac

SQL> select * from v$version;

3、在节点1，2上查看所有系统磁盘

# fdisk -l | grep sd
# lsblk

4、查看asm磁盘

# oracleasm listdisks

没有相关信息，因为是采用多路径配置的，所以这里就看不到了

5、节点1上用grid用户登录，查看当前ASM磁盘组

#su - grid
$sqlplus / as sysasm
SQL> select group_number,name,TOTAL_MB, FREE_MB from v$asm_diskgroup;

6、查看多路径磁盘信息

1）多路径的磁盘名称和对应的ID

2）配置文件

为什么在/etc/multipath.conf只有两个但实际上是5个呢?这里实际上前面有介绍了，如果在/etc/multipath.conf设置了别名，就以这个为主，如果没有就要看/etc/multipath/bindings这个文件了。至于为什么只搞了2个那就要问前辈们之前怎么想了...

7、磁盘多路径配置（很重要，五个星）

7.1、获取磁盘wwid

/lib/udev/scsi_id -g -u -d /dev/sdf
/lib/udev/scsi_id -g -u -d /dev/sdg

7.2、确认配置信息

multipath -ll

这里一定要两边的wwid一致，识别的也只是这个！

7.3、保留现有的多路径配置

#/sbin/multipath -ll >/tmp/out

7.4、添加配置信息

# cp multipath.conf multipath.conf_bak0908 
#vi multipath.conf
---添加如下信息：
multipath {
 wwid 36005076802808584a00000000000001c
 alias mpathi
}

不过为了统一，我最后只选择在/etc/multipath/bindings修改

7.5、生效命名配置信息

关键点：

1.使用multipathd工具在线生效

2.udev中的权限配置需要正确，否则会在刷新是产生权限问题，导致掉盘

---进入命令行界面
# multipathd -k --->注意是multipathd，有d的
----刷新配置
multipathd> reconfigure 
---验证配置信息
multipathd> show config
multipathd> exit

注意这里的权限是不正确的。

7.6、使用udev修改multipath下的文件属性(两个节点)

vi /etc/udev/rules.d/12-dm-permissions.rules

---添加如下信息：
ENV{DM_NAME}=="mpathi", OWNER:="grid", GROUP:="asmadmin", MODE:="0660", SYMLINK+="iscsi/oraasm-$env{DM_NAME}"

为什么改的是12-dm-permissions.rules这个文件，还是一句话，跟前辈们保持一致吧...

7.7、使配置生效（两节点依次执行，注意不要同时执行）

---多路径生效
# service multipathd restart
---权限生效
# start_udev 

7.8、验证结果

--验证权限（两节点依次验证，注意是grid权限）
$ ls -l /dev/dm-*
--验证命名结果（两节点依次验证）
$ ls -l /dev/mapper/*

8、用grid在节点1执行，查看ASM磁盘，确定PATH

正常重启udev后就可以在ASM看到记录了，所以不需要跟网上一样搞一个oracleasm create dis...之类的东西。

$ sqlplus / as sysasm
col name for a20
col path for a30
col MODE_ST for a20
col STATE for a20
set line 1000 pagesize 1000
select GROUP_NUMBER, NAME, STATE, TOTAL_MB, FREE_MB, USABLE_FILE_MB from v$asm_diskgroup;
select name, path, mode_status, state, disk_number,failgroup from v$asm_disk;

可以看到两个节点看到的信息是不一样的，不过这个不影响，只要wwid一致就行了。

9、调整asm_power_limit（grid用户）

如果在生产环境，磁盘组添加磁盘需要很长的平衡时间，所以，我们先查询asm_power_limit的值，并调整为10；

$sqlplus / as sysasm
show parameter asm_power_limit;
alter system set asm_power_limit=10 scope=both; 
show parameter asm_power_limit;

10、ASM扩容

10.1.asmca图形界面扩容

这里当然可以命令扩容，但是可以图形化的话优先图形化吧，毕竟曾有人用命令搞出问题出来，所以图形界面还是最安全的，毕竟我们不搞事情。

右键加盘

因为在第一个节点上加的，所以可以看到是/dev/dm-10

很快就添加好了，但是事情还没完..

可以发现750G变成1050G了。

注意查看是否添加完成

$ sqlplus / as sysasm
SQL> select name,path from v$asm_disk;

10.2.将数据进行冗余（耗时30分钟）

--将当前的diskgroup组的rebalance速度修改为10：
$ sqlplus / as sysasm
SQL> alter diskgroup RFDATA rebalance power 10;

注意观察告警日志和观察查看当前reblance 时间，正常500G 需要1小时左右

$ sqlplus / as sysasm
SQL> select * from v$asm_operation;

当查询v$asm_operation时无数据输出时，意味着ASM的reblance动作结束

10.3.修改reblance 参数为默认

$ sqlplus / as sysasm
SQL> ALTER DISKGROUP RFDATA REBALANCE POWER 1;
SQL> alter system set asm_power_limit=1 scope=both;

11、在节点1,2上分别查询RFDATA磁盘组容量，以下结果

SQL> SELECT NAME,FREE_MB,TOTAL_MB FROM V$ASM_DISKGROUP;

RFDATA磁盘组已经成功完成扩容.

最后一定要注意检查数据库监听、实例状态、ASM监听、ASM实例状态。（我就是败在这最后一步的）

以上就是在centos6做ASM扩容的过程，下周应该会对AIX系统的也做一个扩容，到时再整理一下吧。后面会分享更多devops和DBA方面的内容，感兴趣的朋友可以关注一下~