Incidents reported on status page for Next API https://nextapi.betteruptime.com/ https://d1lppblt9t2x15.cloudfront.net/logos/c1290a056d8d90972bbb40531a0d41c6.png https://nextapi.betteruptime.com/ en https://nextapi.betteruptime.com/incident/239348 Sun, 30 Jul 2023 21:02:00 -0000 https://nextapi.betteruptime.com/incident/239348#85dc00814d5e90d2ce08fb784f8b3e1419945ca63c1c2cf497cc34dc1f45b3e7 P0 级故障通报：大家好，向大家通报一起 P0 级事故，今天凌晨在升级鉴权系统期间，出现了严重的鉴权漏洞，导致任意用户都可以看到所有用户已创建的 Api Key，下面是时间线： 受影响用户：api.nextweb.fun v2 所有用户 07-31 02:33:42 产生鉴权漏洞的代码被推送到仓库 07-31 02:35:23 漏洞代码被自动部署到生产环境 07-31 02:38:13 后台持续收到 500 报警 07-31 02:40:45 修复代码被推送到仓库 07-31 02:41:58 修复代码被自动部署到生产环境 07-31 02:44:30 线上产生第一次 exportKeys 请求 07-31 02:47:00 收到用户反馈 bug 07-31 02:48:13 线上产生第二次 exportKeys 请求 07-31 02:48:43 最后一次线上 500 告警，表示修复代码已经生效 07-31 02:55:00 排查 log 记录，发现了前述两次 exportKeys 记录，确定存在泄露风险 07-31 03:10:14 确定资损，经过查询 log，确认无大量密钥使用记录，初步确定无大量资损 07-31 03:20:10 确定补偿方案，编写代码 07-31 04:25:42 补偿方案测试完成，全量推送到生产环境 尽管经过排查 log，并无证明表明出现了密钥泄露，但为了稳妥起见，还是对所有用户的已创建密钥进行了全局锁定处理，被锁定的密钥将无法被使用，只能被删除。 下面是对大家的补偿方案： - 所有在泄露事件发生之前创建的密钥，都将被系统标记为锁定，不可使用，也无法被手动解除锁定； - 所有在泄露事件可能发生的时间点（02:44:30）后的密钥使用记录，都会根据具体消耗 tokens，将补偿发放到各自账户； - 所有已充值用户自动获得 25w tokens 奖励，奖励已自动发放至账户，请在账单页查收。 再次对本人的失误造成的此次事故为大家带来的不便致歉，还请各位及时新建密钥，以免自身的服务收到影响。如果大家有任何疑问，请第一时间私聊让我知道，感谢谅解。 https://nextapi.betteruptime.com/incident/239348 Sun, 30 Jul 2023 21:02:00 -0000 https://nextapi.betteruptime.com/incident/239348#85dc00814d5e90d2ce08fb784f8b3e1419945ca63c1c2cf497cc34dc1f45b3e7 P0 级故障通报：大家好，向大家通报一起 P0 级事故，今天凌晨在升级鉴权系统期间，出现了严重的鉴权漏洞，导致任意用户都可以看到所有用户已创建的 Api Key，下面是时间线： 受影响用户：api.nextweb.fun v2 所有用户 07-31 02:33:42 产生鉴权漏洞的代码被推送到仓库 07-31 02:35:23 漏洞代码被自动部署到生产环境 07-31 02:38:13 后台持续收到 500 报警 07-31 02:40:45 修复代码被推送到仓库 07-31 02:41:58 修复代码被自动部署到生产环境 07-31 02:44:30 线上产生第一次 exportKeys 请求 07-31 02:47:00 收到用户反馈 bug 07-31 02:48:13 线上产生第二次 exportKeys 请求 07-31 02:48:43 最后一次线上 500 告警，表示修复代码已经生效 07-31 02:55:00 排查 log 记录，发现了前述两次 exportKeys 记录，确定存在泄露风险 07-31 03:10:14 确定资损，经过查询 log，确认无大量密钥使用记录，初步确定无大量资损 07-31 03:20:10 确定补偿方案，编写代码 07-31 04:25:42 补偿方案测试完成，全量推送到生产环境 尽管经过排查 log，并无证明表明出现了密钥泄露，但为了稳妥起见，还是对所有用户的已创建密钥进行了全局锁定处理，被锁定的密钥将无法被使用，只能被删除。 下面是对大家的补偿方案： - 所有在泄露事件发生之前创建的密钥，都将被系统标记为锁定，不可使用，也无法被手动解除锁定； - 所有在泄露事件可能发生的时间点（02:44:30）后的密钥使用记录，都会根据具体消耗 tokens，将补偿发放到各自账户； - 所有已充值用户自动获得 25w tokens 奖励，奖励已自动发放至账户，请在账单页查收。 再次对本人的失误造成的此次事故为大家带来的不便致歉，还请各位及时新建密钥，以免自身的服务收到影响。如果大家有任何疑问，请第一时间私聊让我知道，感谢谅解。