У Яндекс.Облака произошла маловероятная авария с потерей данных

В пятницу 19 июня клиенты облачного сервиса Яндекса стали жертвами редкого стечения обстоятельств: сбой произошёл одновременно на четырех физических серверах.

"Произошёл сбой оборудования одновременно на 4-х физических серверах. Инцидент затронул менее 1% физических дисков, расположенных в этой зоне доступности. Это крайне маловероятное событие, причины возникновения которого сейчас исследуются.

В Яндекс.Облаке данные хранятся на реплицированных сетевых дисках. Сетевой диск выдерживает одновременный отказ двух серверов без потери данных. В момент отказа сервера данные начинают реплицироваться на другие сервера. Но одновременный отказ 4-х серверов за такой короткий промежуток времени привел к тому, что не все данные успели реплицироваться. В результате этого часть данных на дисках оказалась потеряна.

Во время такого сбоя виртуальная машина «замораживается», для ее разморозки необходимо ручное вмешательство. В настоящий момент мы работаем над тем, чтобы перезагрузить виртуальные машины без потерянных блоков данных. Мы сейчас связываемся с теми клиентами, кого затронул инцидент, чтобы помочь им устранить последствия проблемы в индивидуальном порядке".

В ночь с понедельника на вторник представители «Облака» сообщили, что работа пострадавших сервисов управляемых баз данных полностью восстановлена. Инцидент затронул менее 1% физических дисков, расположенных в зоне доступности ru-central-b.

roem.ru