欢迎您访问 最编程 本站为您分享编程语言代码,编程技术文章!
您现在的位置是: 首页

蚂蚁金服集团的语雀会员是免费的!握握不怕晚语麻雀的失败公告

最编程 2024-04-05 10:49:04
...

10 月 23 日语雀出现重大服务故障,且持续 7 个多小时才完全恢复,给用户使用造成极大不便,对此我们深感抱歉。经过复盘,我们在这里向大家进一步说明故障原因、修复过程和改进措施。

  • 故障原因及处理过程:
    10 月 23 日下午,服务语雀的数据存储运维团队在进行升级操作时,由于新的运维升级工具 bug,导致华东地区生产环境存储服务器被误下线。受其影响,语雀数据服务发生严重故障,造成大面积的服务中断。为了尽快恢复服务,我们和数据存储运维团队全力进行数据恢复工作,但受限于恢复方案、数据量级等因素,整体用时较长。
  • 具体过程如下:
    14:07 数据存储运维团队收到监控系统报警,定位到原因是存储在升级中因新的运维工具 bug 导致节点机器下线;14:15 联系硬件团队尝试将下线机器重新上线;15:00 确认因存储系统使用的机器类别较老,无法直接操作上线,立即调整恢复方案为从备份系统中恢复存储数据。15:10 开始新建存储系统,从备份中开始恢复数据,由于语雀数据量庞大,此过程历时较长,19 点完成数据恢复;同时为保障数据完整性,在完成恢复后,用时 2 个小时进行数据校验;21 点存储系统通过完整性校验,开始和语雀团队联调,最终在 22 点恢复语雀全部服务。用户所有数据均未丢失。
    改进措施:
    1、升级硬件版本和机型,实现离线后的快速上线。该措施在本次故障修复中已完成;
    2、运维团队加强运维工具的质量保障与测试,杜绝此类运维 bug 再次发生;
    3、缩小运维动作灰度范围,增加灰度时间,提前发现 bug;
    4、从架构和高可用层面改进服务,为语雀增加存储系统的异地灾备。
    赔偿方案:
    为了表达我们的歉意,我们将向所有受到故障影响的用户提供如下赔偿方案:
    针对语雀个人用户,我们赠送 6 个月的会员服务。操作流程:进入工作台「账户设置」,点击左侧「会员信息」,在会员信息页面点击「立即领取」,即可获得赠送服务。