故障始末

故障发生时间在2020年5月24日7点30左右， 当时客户反馈数据库无法连接，客户是一家西部大型综合型医院，这个时间点，临近医院就诊高峰期。 接到电话后，马上向实施工程师了解当天或者前一天做了什么，具体的回复如下：

凌晨1点起，医院内部完成服务器整改，调整了机房服务器相关的网络设置，截止至当天早上5点左右，完成相关网络改造。
6点左右，校验一体化电子病历系统能够正常使用，并正确产生业务数据，其他各个业务系统接口、页面也能正常访问并调用
7:30门诊医生开始逐步接诊，病区开始处理当天医嘱。接到临床反馈系统较为卡顿。本地程序打开运行正常，远程临床的业务系统发现卡顿现象存在
7:45医技部门反馈医技确费系统无法登录，提示相关用户无医技角色权限。检查缓存服务器，发现清除缓存后redis中无相关数据重新缓存进来
8:20左右，临床反馈系统无法登录，提示无法获取系统时间等问题，检查数据库发现已无法连接停止数据库，重新启动数据，数据库无法启动，提示相关错误信息。

故障分析及解决过程

马上远程到客户数据库服务器， 查看数据库后台日志，出现大量ORA-00600错误，具体的错误代码如下：

Successful open of redo thread 1
MTTR advisory is disabled because FAST_START_MTTR_TARGET is not set
Sun May 24 09:54:17 2020
SMON: enabling cache recovery
Archived Log entry 48282 added for thread 1 sequence 27649 ID 0x12755c66 dest 1:
Errors in file /u01/oracle/diag/rdbms/dzblorcl/dzblorcl1/trace/dzblorcl1_ora_213446.trc  (incident=1080913):
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []
Incident details in: /u01/oracle/diag/rdbms/dzblorcl/dzblorcl1/incident/incdir_1080913/dzblorcl1_ora_213446_i1080913.trc
ARC3: Archival started
ARC0: STARTING ARCH PROCESSES COMPLETE
Use ADRCI or Support Workbench to package the incident.
See Note 411.1 at My Oracle Support for error and packaging details.
Errors in file /u01/oracle/diag/rdbms/dzblorcl/dzblorcl1/trace/dzblorcl1_ora_213446.trc:
ORA-00704: bootstrap process failure
ORA-00704: bootstrap process failure
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []
Errors in file /u01/oracle/diag/rdbms/dzblorcl/dzblorcl1/trace/dzblorcl1_ora_213446.trc:
ORA-00704: bootstrap process failure
ORA-00704: bootstrap process failure
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []
Error 704 happened during db open, shutting down database
USER (ospid: 213446): terminating the instance due to error 704
Instance terminated by USER, pid = 213446
ORA-1092 signalled during: alter database open...
opiodr aborting process unknown ospid (213446) as a result of ORA-1092
Sun May 24 09:54:24 2020
ORA-1092 : opitsk aborting process

看了上面的ORA-00600错误，心马上凉了半截，立马做了一个10046 trace，信息如下：

EXEC #140299028925520:c=1000,e=1223,p=0,cr=0,cu=0,mis=1,r=0,dep=1,og=4,plh=2970138452,tim=1590286531312973
WAIT #140299028925520: nam='db file sequential read' ela= 387 file#=1 block#=169 blocks=1 obj#=3 tim=1590286531313572
WAIT #140299028925520: nam='db file sequential read' ela= 352 file#=1 block#=170 blocks=1 obj#=3 tim=1590286531314069
WAIT #140299028925520: nam='db file sequential read' ela= 347 file#=1 block#=145 blocks=1 obj#=4 tim=1590286531314545
FETCH #140299028925520:c=999,e=1581,p=3,cr=3,cu=0,mis=0,r=0,dep=1,og=4,plh=2970138452,tim=1590286531314594
STAT #140299028925520 id=1 cnt=0 pid=0 pos=1 obj=4 op='TABLE ACCESS CLUSTER TAB$ (cr=3 pr=3 pw=0 time=1587 us)'
STAT #140299028925520 id=2 cnt=1 pid=1 pos=1 obj=3 op='INDEX UNIQUE SCAN I_OBJ# (cr=2 pr=2 pw=0 time=1112 us)'
Incident 1160913 created, dump file: /u01/oracle/diag/rdbms/dzblorcl/dzblorcl1/incident/incdir_1160913/dzblorcl1_ora_6206_i1160913.trc
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []

ORA-00704: bootstrap process failure
ORA-00704: bootstrap process failure
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []
ORA-00704: bootstrap process failure
ORA-00704: bootstrap process failure
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []

数据库核心基表tab$查询数据失败，导致启动失败。

Incident 1160913 created, dump file: /u01/oracle/diag/rdbms/dzblorcl/dzblorcl1/incident/incdir_1160913/dzblorcl1_ora_6206_i1160913.trc
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []

ORA-00704: bootstrap process failure
ORA-00704: bootstrap process failure
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []
ORA-00704: bootstrap process failure
ORA-00704: bootstrap process failure
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [], [], [], [], [], [], []

网上google这个错误代码，确定了是数据库软件被注入恶意代码。 恶意代码被注入文件 $ORACLE_HOME/rdbms/admin/prvtsupp.plb中。这个程序包文件最后被注入了一个触发器，当数据库启动之后被触发执行。具体的程序包被加密过，解密后大致内容如下：

发现触发器是去执行一个存储过程，这个存储过程解密后的代码如下，其代码逻辑就是，判断数据库的创建时间大于 300 天，然后创建一个备份表，备份 tab$ 内容之后，清空 TAB$ 表。数据库启动时，TAB$被清空， bootstrap阶段无法完成，导致启动失败。

以上是具体原因分析。当时这个case，为了快速恢复业务， 马上第一时间，把整个库物理删除掉，替换掉被植入代码的文件prvtsupp.plb， 并从DSG备份中恢复了数据库，尽最大努力减少业务宕机时间。期间整个过程还算处理顺利。

数据库运维建议

• 数据库软件的下载，一定要从MOS官方下载，切记不要从其他地方下载。
• DBA一定要有备份意识， 任何生产数据库确保有完整的备份，可以基于时间点恢复到任何时间。
• 条件允许，最好做一个dataguard 容灾库。