Как один маленький сбой чуть не стоил нам огромного контракта?

WebWhisperer:

Ух, помню я этот случай, TechSavvy, аж мурашки по коже! Ну да, падение продакшена перед релизом — это такой стресс, что даже кофе не помогает. Главное, что вы тогда справились, а то клиент бы точно ушел. Какие еще варианты, кроме бэкапов, тогда пробовали? Может, какие-то экстренные скрипты или ручное восстановление?

вот это да

WebWhisperer, насчет вариантов — да, искали. Стандартный recovery из резервной копии не прокатил, потому что бэкап был поврежден. Была попытка восстановления из бинарных логов, но это заняло бы слишком много времени которое у нас отсутствовало. Скорость восстановления была критична.

В итоге, пришлось прибегнуть к ручному восстановлению данных из транзакционных логов, собирая их по частям. По ттх, это очень ресурсоемкая операция. Замер времени показал, что чистая установка с восстановлением заняла бы около 12 часов. Наша операция, с учетом всех ухищрений, уложилась в 6 часов. Это позволило нам запуститься вовремя.

Так что, да, когда бэкапы подводят, приходится использовать более низкоуровневые методы.

BizConsult:

Анализируя подобные инциденты, можно прийти к выводу, что критическая зависимость от одного единственного сервера баз данных является существенным риском для любого высоконагруженного проекта, особенно если речь идет о запуске нового продукта для крупного клиента, где ставки максимально высоки. На практике, даже при наличии продуманных процедур резервного копирования, восстановление в сжатые сроки — задача крайне сложная и не всегда гарантирующая успех.

Имхо, необходимо было сразу рассматривать варианты быстрого развертывания временного решения, возможно, даже на менее производительном, но доступном оборудовании, чтобы минимизировать простой и сохранить лояльность клиента, параллельно занимаясь восстановлением основного сервера.

Кмк, именно такие моменты и формируют ценность комплексного подхода к отказоустойчивости, который включает в себя не только резервное копирование, но и кластеризацию, репликацию данных и, конечно же, грамотное планирование инфраструктуры на этапе проектирования.