Oracle RAC启动时如何访问ASM spfile

Oracle从11.2版本开始，ASM spfile自动存储在GI安装期间创建的第一个磁盘组中。
由于voting disk和OCR存储在ASM上，因此需要在节点上启动ASM。要启动ASM，需要ASM spfile文件。
那么问题来了，当磁盘组还没mount时，ASM实例怎么读取spfile来启动呢？不仅如此，ASM不知道spfile位于哪个磁盘组，甚至于都不知道是否位于磁盘组上。再者，ASM实例也不知道ASM discovery string的值是什么。
集群软件如何解决这个问题?

从Oracle官方文档Automatic Storage Management Administrator’s Guide中介绍，链接如下：

https://docs.oracle.com/cd/E11882_01/server.112/e18951/asminst.htm#OSTMG10110

当Oracle ASM实例查找初始化参数文件时，查找顺序为:
(1) GPnP profile文件中指定的初始化参数文件的位置
(2) 如果位置未在GPnP配置文件中设置，则搜索顺序更改为:
a. Oracle ASM实例HOME目录中的SPFILE文件。例如，在Linux环境下，Oracle ASM的SPFILE在Oracle GI主目录下有如下默认路径：$ORACLE_HOME/dbs/spfile+ASM.ora
b. Oracle ASM实例HOME目录中的PFILE文件

可以看出是通过GPnP profile文件，其中包含以下重要的引导数据ASM discovery string、ASM spfile location、Voting Files存放位置等。
我们可以通过如下方式，获取GPnP profile文件中的ASM spfile

[grid@db01 ~]$ cd $ORACLE_HOME/gpnp/db01/profiles/peer
[grid@db01 peer]$ gpnptool getpval -asm_spf
Warning: some command line parameters were defaulted. Resulting command line: 
         /u01/app/19c/grid/bin/gpnptool.bin getpval -asm_spf -p=profile.xml -o-

+OCR/testdb-cluster/ASMPARAMETERFILE/registry.253.1152630887

ASM spfile文件名有了，但是到哪块磁盘上去找？这时候就需要知道ASM discovery string参数，也记录在GPnP profile里。

[grid@db01 peer]$ gpnptool getpval -p=profile.xml -asm_dis -o-
/dev/mapper/asmdisk*

现在我们知道了RAC如何获得ASM磁盘和spfile的位置，但在磁盘组还没有mount时，RAC如何读取spfile呢？
答案在ASM磁盘头里。

下面演示查找ASM spfile的过程。
（1）查看OCR磁盘，OCR为NORMAL冗余，总共3块磁盘

[grid@db01 peer]$ asmcmd lsdsk -G OCR
Path
/dev/mapper/asmdisk_ocr03
/dev/mapper/asmdisk_ocr01
/dev/mapper/asmdisk_ocr02

说明：实际上RAC在启动的时候是无法执行asmcmd命令的，但是知道了ASM discovery string参数，找到ASM磁盘并不是问题，这里仅仅是为了演示方便直接拿到OCR DISK。

（2）使用kfed查找ASM spfile相关的条目

[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr01 | grep -E 'spf|ausize'
kfdhdb.ausize:                  4194304 ; 0x0bc: 0x00400000
kfdhdb.spfile:                        0 ; 0x0f4: 0x00000000
kfdhdb.spfflg:                        0 ; 0x0f8: 0x00000000
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr02 | grep -E 'spf|ausize'
kfdhdb.ausize:                  4194304 ; 0x0bc: 0x00400000
kfdhdb.spfile:                       27 ; 0x0f4: 0x0000001b
kfdhdb.spfflg:                        1 ; 0x0f8: 0x00000001
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr03 | grep -E 'spf|ausize'
kfdhdb.ausize:                  4194304 ; 0x0bc: 0x00400000
kfdhdb.spfile:                       27 ; 0x0f4: 0x0000001b  --ASM spfile所在AU号
kfdhdb.spfflg:                        1 ; 0x0f8: 0x00000001  --ASM spfile的标志位。如果值为1，那么ASM spfile就位于这个磁盘，AU号由kfdhdb.spfile指明

可以看到ASM spfile位于asmdisk_ocr02和asmdisk_ocr03里。

（3）使用dd读取27号AU

[root@db01 ~]# dd if=/dev/mapper/asmdisk_ocr03 of=/tmp/ASMspfile_copy.ora skip=27 bs=4M count=1
1+0 records in
1+0 records out
4194304 bytes (4.2 MB) copied, 0.0116298 s, 361 MB/s
[root@db01 ~]# ls -l /tmp/ASMspfile_copy.ora
-rw-r--r-- 1 root root 4194304 Nov 30 16:45 /tmp/ASMspfile_copy.ora

（4）使用string查看27号AU的内容

[root@db01 ~]# strings /tmp/ASMspfile_copy.ora | more
+ASM1.__asm_max_connected_clients=5
+ASM2.__asm_max_connected_clients=5
+ASM1.__oracle_base='/u01/app/grid'#ORACLE_BASE set from in memory value
+ASM2.__oracle_base='/u01/app/grid'#ORACLE_BASE set from in memory value
*._asm_disable_dangerous_failgroup_checking=TRUE
*._asm_disable_failgroup_size_checking=TRUE
*.asm_diskgroups='DATA','FRA'#Manual Mount
*.asm_diskstring='/dev/mapper/asmdisk*'
*.asm_power_limit=1
*.audit_sys_operations=FALSE
*.large_pool_size=536870912
*.memory_max_target=8589934592
*.memory_target=8589934592
*.processes=2048
*.remote_login_passwordfile='EXCLUSIVE'
*.sga_max_size=8589934592
......余下部分省略......

可以看到正是ASM spfile里的内容了。

（4）同样的方式也可以查找voting file

[grid@db01 ~]$ crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   5cbbb7af89d14fd8bfc8f9823c58d966 (/dev/mapper/asmdisk_ocr01) [OCR]
 2. ONLINE   19270fa5b10f4f18bffbf2a4cb4a82bf (/dev/mapper/asmdisk_ocr02) [OCR]
 3. ONLINE   1d101c79c1fc4fc1bfd30d49c9a796e3 (/dev/mapper/asmdisk_ocr03) [OCR]
Located 3 voting disk(s).

[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr03 | grep vf
kfdhdb.vfstart:                      56 ; 0x0ec: 0x00000038
kfdhdb.vfend:                        64 ; 0x0f0: 0x00000040
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr01 | grep vf
kfdhdb.vfstart:                      64 ; 0x0ec: 0x00000040
kfdhdb.vfend:                        72 ; 0x0f0: 0x00000048
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr02 | grep vf
kfdhdb.vfstart:                      56 ; 0x0ec: 0x00000038
kfdhdb.vfend:                        64 ; 0x0f0: 0x00000040

可以看到voting file占用了8个AU，我这里的环境AU_SIZE=4M，如果AU为1M，会占用32个AU。