ну нарешті

Держим кулаки за сервера!!!!!

Спасибо! Будем стараться! :) Кто-то вчера отказывался говорить на компьютерные темы :)))))))

Чудово

Йо, нельзя же пугать-то так!!! Читаю заголовок - и у меня сердце в пятки уходит :) А вообще супер, Лех. Реально НИИ целый, а не компания.

прочитала кучу умных слов, из которых в очередной раз убедилась, что Леша - молодец!)

Спасибо :)

250 пользователей - ерунда. Представь, что будет с сервером, если пользователей будет около 10 тысяч, и генерировать они будут более полутора миллионов пакетов в секунду ;) Мы такое недавно переживали и не один раз :P

Пакеты и пользователи - это разные вещи, у нас на ХВ и побольше было. А тут писал про тест.

Странная фраза. Я же не говорил, что пакеты и пользователи - одинаковые вещи. Я хотел сказать, что тест синтетический и слабенький. 250 "пользователей" - мало для теста.

а як ви справилися з 10тисячами?

Один нормальный сервер, с "правильно" написанными кодом страниц и грамотным веб-сервером выдерживает и более 10 тысяч. У нас ХайВей выдерживает до 5 тысяч, учитывая что сервер покупался 4 года назад, на обычной базе "не серверного" Pentium-а 4 ;)

Легальных клиентов - да. Легальный клиент ждет загрузки страницы, читает, кликает по ссылкам, опять ждет. А если все 10к - это боты, которые долбятся в GET / и не вычитывая ответа закрывают коннект? Каждый запрос генерит трид php, если страница не кэшируется nginx'ом. Теперь представляем себе 10к тридов php одновременно (а может и 50к, если боты успевают сделать в секунду по 5 запросов) и чешем голову ;)

На самом деле цифра 10к была непостоянная, атаки велись с помощью ботнета, кол-во непрерывно атакующих компьютеров скакало в пределах 6к-15к, в среднем 10к.

Дело было так: неожиданно стали поступать звонки о том, что люди не могут зайти на сайт. Связались с провайдером, где мы держим свои сервера (не Украина), те говорят "на вас ведется атака, трафик рубится на корневом роутере". Это у них защита такая. Их тоже можно понять, миллионка в внутренней сети никому не нужна.

Но сайт-то должен работать. Стали искать возможности, для нейтрализации (с такой атакой мы сталкивались впервые).

Попытки запустить tcpdump для анализа и пустить трафик на сервер закончились полным зависанием машинки (довольно мощной, кстати) и перегрузом ее через kwm.

Вся опасность таких атак не в том, что пользователи не могут получить доступ к серверам, а в том, что у некоторых сетевых сервисов может нарушаться логика работы. Например, ipfw может пропускать некоторые правила, т.е., например, deny ip from any to me dst-port 3389 может не сработать.

Добавив deny icmp from any to me, с удивлением обнаружили, что этим правилом блочится около миллиона пакетов в секунду. Но этого все равно было недостаточно, потому что оставались многочисленные GET /

Специфика сайта такова, что мы не можем кэшировать /, иначе все было бы довольно просто. В работе мы используем связку nginx+lshttpd. lshttpd спавнит для каждого запроса lsphp, что, собственно, и нагружало сервер.

В конце-концов, мы пришли к изящному решению. Все основывалось на том факте, что атакующие, запрашивая / не вычитывали ответ (им он нафиг не нужен был), поэтому был проведен следующий финт: Мы изменили A запись домена на второй сервер, на котором была всего 1 html-ка в корне, которая джаваскриптом перебрасывала пользователя на другой порт, который пробрасывался на первый сервер. Проброс происходил быстро и пользователи замечали только, что заходя на http://domain они попадали на http://domain:82

Вот и все. Боты продолжали долбиться на 80 порт, на котором nginx'ы обоих серверов отплевывали 500-байтовую html-ку, легальные клиенты спокойно работали.

Время простоя сайта - 6 часов.

Это вы про приват рассказываете?

С чего это вдруг такой вывод? :)

Нет, не про приват.

Потому что именно у них были такие проблемы, и гораздо дольше, чем 6 часов. И таким же образом побороли...

Такие проблемы возникают рано или поздно у всех. А приват, по моим наблюдениям, валялся гораздо дольше, около 2-3 дней.