Вот вам ещё о японцах

[catpad]

Недавно kostia_inochkin поведал историю о японском водителе автобуса, который не мог решиться нажать на кнопку, чтобы остановить поезд. Вот вам точно такая же история, только без опасности для жизни. Но всё равно - принцип тот же.


Вчера прихожу на работу, и мне говорят, что вся система упала, потому что упал один из индексов одной из главных таблиц (кончились extents). Утром таблица почистилась, и всё восстановилось, но разгребать это дело теперь - задача совсем непростая. Я поднимаю на ноги весь Израиль, всю Австралию и весь остальной мир, и мне присылают простейший SQL, который увеличивает количество extents. Дело одной минуты - и опасность миновала.
Но не тут-то было. Иду к японцам (к кастомерам, то есть) с этим SQL-ем и говорю - если не хотите ещё одного падения, нужно СРОЧНО это сделать. А надо заметить, что на падениях системы они могут потерять огромные деньги. Кастомеры, как водится, собирают совещание и выносят вердикт: изменять ничего нельзя, подождём ещё день и посмотрим. "Посмотрим что ?" - говорю. - "Упадёт или нет ? Не сегодня так завтра упадёт, будем сидеть и смотреть ?". На это им ответить, конечно, нечего, но вердикт остаётся в силе.
Тогда я проверяю упавший индекс и вижу, что количество его extents снова достигло максимального значения. Показываю распечатку девице, которая якобы моя начальница. Её знания ограничиваются Аутлуком. "Что это такое ?" - спрашивает. Я говорю, что вот, если мы сейчас всё не изменим, то упасть может каждую минуту. "Это что - таблица ?" Я говорю - "нет, это индекс". "А что такое индекс ?" Начинаю рисовать на бумажке какие-то объяснения, понимая, что дело безнадёжно. "Нет", - говорит девица, - "я ничего не понимаю. А РАЗ Я НЕ ПОНИМАЮ, ТО И ИЗМЕНЯТЬ НИЧЕГО НЕЛЬЗЯ". В эту секунду раздаётся звонок - система упала. Девица в панике.
Я говорю - "останавливайте всё к чертям, данные пропадают!". Они собирают совещание - что делать ? Совещание длится час - никто не может взять на себя ответственность остановить систему, которая всё равно не работает, а только данные портит. Наконец, высочайшее разрешение получено, система остановлена, я меняю индекс (1 минута работы) - всё восстанавливается.
Мусор разгребать теперь, конечно, мне. Данные восстанавливать тоже мне.
На прошлой неделе была точно такая же история только в большем масштабе.
Вот вам и водитель с кнопкой.

И вот, что я вам скажу. В Японии всё работает только потому, что редко падает. Когда падает - это конец.

Comments

[scroll.livejournal.com]

1. А как они добились того, что ТАК редко падает?
2. Если бы они избавились от забюрократизованности, они добились бы еще больших высот, или она является одной из необходимых составляющих успеха?

[catpad.livejournal.com]

1. Видимо тем, что выбирают всегда только самый проверенный и надёжный вариант, пусть это и занимает кучу времени и людей. Людей тут ни на что не жалеют. Не допускают никаких неожиданностей, зажимают личную инициативу. Всё это полезно для устойчивости любой системы, но вредно для всего остального :)
2. Это очень интересный вопрос, и я его сам себе часто задаю. Но ответа не знаю...

[prokofyev.livejournal.com]

А втихаря нельзя было самому поменять, раз они все равно ничего не понимают?

[catpad.livejournal.com]

Когда возможно, конечно, я меняю, никого не спрашивая. Это очень удобно, что они ничего не понимают. Но в этом случае всю систему надо было останавливать.

[kostia-inochkin.livejournal.com]

Удивительный вокруг творится цирк. В соседнем институте неделя тренинга - все кто попало (ну, научные в общем люди) могут приходить в лаборатории и учиться там каким-нибудь методам. По предварительной записи и за деньги.
К болгарину пришла девица, осваивать электронный микроскоп (не самый простой прибор, вообще-то), по-английски ни бум-бум, вопросов не понимает, сама ничего не спрашивает. С трудом спросили - ты сама захотела? Тебе интересно? Нет, говорит, это меня сенсей записал. А зачем? Не знаю, сказал, ЧТО НАДО.

[samosoboy.livejournal.com]

вот почему японская техника такая надежная :)
делают не на совесть, а на страх, что упадет... они знают, чего это может им стоить %))

[catpad.livejournal.com]

Ничего удивительного, всё очень закономерно. Вот было бы странно, если бы она сама по себе пришла с целью изучать.
А, кстати, я тоже хочу посмотреть в электронный микроскоп !

[dimrub.livejournal.com]

Ну можно им, типа, запудрить мозги, что система требует остановки для какого-нибудь текущего мейнтененса. А еще лучше - послать от имени системы мессагу типа: "Останавливайте меня срочно, а то щас такое будет!"

[catpad.livejournal.com]

Одна небольшая загвоздка: "текущий мейнтенанс" в здешних условиях планируется за два месяца и должен быть официально задокументирован и утверждён.
Над вторым вариантом мы как раз сейчас и работаем :)

[kostia-inochkin.livejournal.com]

Ага, я как-нибудь вывешу у себя картинку. А то приезжайте:)
Вообще, всё чаще мне чудится вокруг советский союз - удивительно большое количество людей работает для галочки, или вообще не работает - спит или в интернете шарит. Откуда прогресс, а?

[catpad.livejournal.com]

Тайна сия велика !
Приехать вряд ли, времени совсем нет. А так бы с удовольствием.

вопросец

[(Anonymous)]

Привет а самим SQL не поделишься ? :)))
Заранее спасибо :)
dimson@sinter.ru

[greenadine.livejournal.com]

Кстати, я был уверен, что выделение extents автоматическое. И ограничено исключительно размером базы... Нет?

[okser.livejournal.com]

А как же поинты? Али увеличить собственную крутость в глазах ничегонепонимающих не представляется возможным?

[catpad.livejournal.com]

Оно и есть автоматическое, но ограничено параметром MAXEXTENTS. Если же он UNLIMITED, то тогда размером tablespace.

Re: вопросец

[catpad.livejournal.com]

Пожалуйста, добра не жалко:
ALTER INDEX STORAGE (MAXEXTENTS UNLIMITED or );

[greenadine.livejournal.com]

oops, я вообще-то про SQL Server а не oracle. mea culpa.

[alienor-sm.livejournal.com]

Так-так... А в майкрософте они всё-таки устанавливаются автоматически? И, вообще, какова их функция?

[mkay422.livejournal.com]

Вы когда-нибудь видели в действии усердие японского QA?

[mkay422.livejournal.com]

Решил добавить вас в друзья, и по ошибке набрал brotherfedor не переключив с русского. Вы удивитесь....

У нашей партнерской конторы их продукт (давно GA'd и продающийся) должен был быть задеплоен в Японии. По этому поводу привели их QA. За два дня они зафайлили 300+ багов, включая неправильную работу back buttons на инсталляторе на 10 шагов назад, несоответствие цветов и шрифта в меню vs. документации, и т.д.

[(Anonymous)]

А нафига систему из за паршивого альтера останавливать ? Кому он помешал то ?
Michael from Israel.

[catpad.livejournal.com]

Есть такая ошибка, 53 кажется, - resource is busy. Это когда таблицей всё время пользуются. Alter сделать невозможно.

[greenadine.livejournal.com]

Какова функция индексов? Или экстентов? :))

[alienor-sm.livejournal.com]

Экстентов. :))

[greenadine.livejournal.com]

Ну, типа как минимальная единица объема, с которым работает сервер. То, какими порциями выделяестя место.

[catpad.livejournal.com]

Не прав: минимальная единица - это блок. Экстент состоит из блоков.

[greenadine.livejournal.com]

Хех, старость :)
По-моему, по первому пункту не прав, а по второму - таки да. Т.е. распределяться между объектами и адресоваться память может, конечно же, блоками, а вот выделяться на диске и распределяться по базам - экстентами. Хотя...
Ну да не суть :)

[alienor-sm.livejournal.com]

Спасибо. :)