面试官：MySQL权限表损坏导致无法启动怎么办？

Answer 1

面对MySQL权限表损坏导致无法启动的问题，首先回顾了在升级MySQL Server版本（从5.7.26到5.7.31）后，测试同学发现创建用户后集群启动失败的情况。这引发疑问：为何相同测试场景下，不同版本的MySQL Server会有不同表现。随后，详细描述了问题复现步骤，包括在特定环境下创建用户、关闭mysqld和重启mysqld，以及查看启动失败的error日志。报错信息指向MySQL权限系统表损坏，指出MyISAM引擎不支持事务特性，导致在mysqld异常崩溃时表损坏。

接下来解析了MySQL中MyISAM存储引擎恢复模式的参数设置。官方文档解释了不同参数值对于表恢复模式的影响，包括OFF、DEFAULT、BACKUP、FORCE或QUICK等选项。通过此参数，mysqld在每次打开MyISAM表时检查表是否标记为崩溃或未正确关闭，并尝试修复损坏的表。同时，服务器会将修复注释写入错误日志，以便用户检查表损坏原因。

针对MySQL用户表损耗的问题，介绍了多种解决方式，其中一种是通过修改my.cnf配置文件中的参数skip_grant_tables，在启动时跳过加载系统字典。重启mysqld后，使用特定命令修复mysql schema下的所有表。最后，注释或删除skip_grant_tables参数，再次重启mysqld，确保其能够正常启动。

在深入排查过程中，发现以上解决方式虽然能暂时解决启动问题，但不适用于产品化环境。为了寻找根本原因，团队决定通过MySQL源代码进行调试。首先，下载MySQL 5.7.31版本源代码，并搭建调试环境。通过搜索关键字和调试代码，定位到与启动失败相关的关键代码行。

经过多次调试，确认了acl_init函数初始化权限检查结构时出现问题，导致权限初始化失败。进一步的调试显示，在lock_table_names函数的Phase 3阶段，发现与read_only参数相关的代码变动，这与MySQL 5.7.26版本有所区别。代码变更解决了BUG#28438114，即在SET READ_ONLY=1时避免了并发DDL操作的阻塞问题。检查my.cnf配置文件，发现使用了read_only参数。通过注释该参数，再次启动mysqld，发现MyISAM表能够自动修复并正常启动。

为了解决实际产品环境中的问题，团队建议在启动mysqld时先关闭read_only参数，启动完成后再开启此参数。这样避免了在mysqld启动后选主逻辑未完成时的保护措施，同时确保了在选主完成后，自动对master执行set global read_only=0操作，以优化系统性能。

总结整个问题解决过程，从问题复现到深入排查，再到解决方案的实施，强调了MySQL体系结构、innodb存储引擎工作原理、备份恢复、复制、数据迁移等技术的重要性。该案例展示了在面对复杂数据库问题时，通过代码调试、深入分析和合理配置，能够有效解决问题并优化系统性能。