Вот вам ещё о японцах

[catpad]

Недавно kostia_inochkin поведал историю о японском водителе автобуса, который не мог решиться нажать на кнопку, чтобы остановить поезд. Вот вам точно такая же история, только без опасности для жизни. Но всё равно - принцип тот же.


Вчера прихожу на работу, и мне говорят, что вся система упала, потому что упал один из индексов одной из главных таблиц (кончились extents). Утром таблица почистилась, и всё восстановилось, но разгребать это дело теперь - задача совсем непростая. Я поднимаю на ноги весь Израиль, всю Австралию и весь остальной мир, и мне присылают простейший SQL, который увеличивает количество extents. Дело одной минуты - и опасность миновала.
Но не тут-то было. Иду к японцам (к кастомерам, то есть) с этим SQL-ем и говорю - если не хотите ещё одного падения, нужно СРОЧНО это сделать. А надо заметить, что на падениях системы они могут потерять огромные деньги. Кастомеры, как водится, собирают совещание и выносят вердикт: изменять ничего нельзя, подождём ещё день и посмотрим. "Посмотрим что ?" - говорю. - "Упадёт или нет ? Не сегодня так завтра упадёт, будем сидеть и смотреть ?". На это им ответить, конечно, нечего, но вердикт остаётся в силе.
Тогда я проверяю упавший индекс и вижу, что количество его extents снова достигло максимального значения. Показываю распечатку девице, которая якобы моя начальница. Её знания ограничиваются Аутлуком. "Что это такое ?" - спрашивает. Я говорю, что вот, если мы сейчас всё не изменим, то упасть может каждую минуту. "Это что - таблица ?" Я говорю - "нет, это индекс". "А что такое индекс ?" Начинаю рисовать на бумажке какие-то объяснения, понимая, что дело безнадёжно. "Нет", - говорит девица, - "я ничего не понимаю. А РАЗ Я НЕ ПОНИМАЮ, ТО И ИЗМЕНЯТЬ НИЧЕГО НЕЛЬЗЯ". В эту секунду раздаётся звонок - система упала. Девица в панике.
Я говорю - "останавливайте всё к чертям, данные пропадают!". Они собирают совещание - что делать ? Совещание длится час - никто не может взять на себя ответственность остановить систему, которая всё равно не работает, а только данные портит. Наконец, высочайшее разрешение получено, система остановлена, я меняю индекс (1 минута работы) - всё восстанавливается.
Мусор разгребать теперь, конечно, мне. Данные восстанавливать тоже мне.
На прошлой неделе была точно такая же история только в большем масштабе.
Вот вам и водитель с кнопкой.

И вот, что я вам скажу. В Японии всё работает только потому, что редко падает. Когда падает - это конец.

Comments

[dimrub.livejournal.com]

Ну можно им, типа, запудрить мозги, что система требует остановки для какого-нибудь текущего мейнтененса. А еще лучше - послать от имени системы мессагу типа: "Останавливайте меня срочно, а то щас такое будет!"

[catpad.livejournal.com]

Одна небольшая загвоздка: "текущий мейнтенанс" в здешних условиях планируется за два месяца и должен быть официально задокументирован и утверждён.
Над вторым вариантом мы как раз сейчас и работаем :)