случай: взлом сервера, предположения, советы

[Ddd]

Сервер поднялся после перезапуска через панель ДЦ. В логах есть такая запись:
fail2ban.filter [398]: ERROR Error in FilterPyinotify callback: 'module' object has no attribute '_strptime_time'

Позвольте поинтересоваться, какая ОС?

Debian 8.2

[lidner60]

прошла почти неделя с релиза. расскажите, в чем была проблема безопасности?

[lidner60]

в общем, отрыл еще логи баша... довольно интересные наблюдения:
1. по всей видимости работал живой человек. причем, пьяный живой человек. наблюдаются неправильно написанные команды (опечатки), так же всякие ls-ы и забывания сделать файл исполняемым.
2. сначала был загружен скриптец, проверяющий скорость интернета.
3. далее был загружен upd-флудер и проработка им некоторых ip.
4. далее, на сколько я понял, загружен и отработан скрипт по поиску пары админ-пароль (вроде как по словарю) на список айпишек (на сколько я понял, задавалась маска типа "228.166" или просто "89").
5. далее был установлен IRC-сервер (WTF??!) UnrealIRCd, скачанный с офф-сайта.
6. ulimit -n 4096 (быстрым прогугливанием не особо понял, лимит каких ресурсов выставляется и зачем...)
7. рестарты, и повторены первые шаги с меньшей интенсивностью.

После этого всего начал виснуть сервак. Сайты перестают открываться (панель в том числе) (не работает даже DNS-сервер). Пинг идет нормально. По ssh не зайти, даже через VNC хостера, предоставляющего ВДС-ку. Пишутся какие-то ошибки, без курсора. После принудительной перезагрузки у хостера в панели, работает нормально. Происходит такое редко. После взлома второй или третий раз. В период этого "падения" графики ничего не показывают:
процессор:

память (заметен сильный скачок памяти и файла подкачки):

сеть:


Если нужны какие-то подробности, пишите, при следующем происшествии постараюсь запечатлить.
Так же чуть позже скину полный лог баша.

И еще одна проблема -- не знаю, связанная ли с этим взломом. Начал рассылаться спам.

https://мой_сервер:8083/list/server/?mail

вот:Show

Exim queue status
9d 1.2K 1bONKG-0001TO-AG
D [email protected]
D [email protected]
D [email protected]
D [email protected]
D [email protected]
D [email protected]

.......................

9d 3.1K 1bONOg-0001lQ-MV <>
[email protected]

9d 1.2K 1bONPt-0001o1-N8
[email protected]
[email protected]
[email protected]
[email protected]
D [email protected]
[email protected]

.......................

D [email protected]
D [email protected]
D action_dan@card

Все это дело на 5 000 строк.

обновил, появилось еще подобное:Show

6d 16K 1bPIFc-00046x-Dh <>
[email protected]

6d 21K 1bPJAd-0006YG-Gt <> *** frozen ***
[email protected]

6d 2.1K 1bPJJf-0006zC-CC <> *** frozen ***
[email protected]

6d 2.2K 1bPJXa-0007gF-Ac <>
[email protected]

6d 2.7K 1bPJaS-0007rl-IJ <> *** frozen ***
[email protected]

6d 2.2K 1bPJll-0008RC-RL <>
[email protected]

6d 19K 1bPKpb-00046N-70 <> *** frozen ***
[email protected]

и вот такое:Show

1 [email protected] R=dnslookup T=remote_smtp: SMTP
error from remote mail server after RCPT TO::
host mx1.hotmail.com [65.55.33.135]: 550 Requested
action not taken: mailbox unavailable

1 [email protected] R=dnslookup T=remote_smtp: SMTP
error from remote mail server after RCPT TO::
host mx2.hotmail.com [65.55.33.135]: 550 Requested
action not taken: mailbox unavailable

1 [email protected] R=dnslookup T=remote_smtp:
SMTP error from remote mail server after RCPT TO::
host mx3.hotmail.com [65.55.33.135]: 550 Requested
action not taken: mailbox unavailable

1 [email protected] R=dnslookup T=remote_smtp:
SMTP error from remote mail server after RCPT TO::
host mx4.hotmail.com [65.55.37.120]: 550 Requested
action not taken: mailbox unavailable

1 [email protected]: retry timeout exceeded

1 [email protected]: retry timeout exceeded

и как итог:Show

Errors encountered: 11107
-------------------------

Может быть это все происходит из определенного взломанного ящика, например, слабый пароль? Или же внутри сервера что-то сидит? Как можно проследить это дело? И что это вообще, очередь чтоль? И как расшифровывается это дело? ну, помимо ящиков получателей спама.

[one]

5. далее был установлен IRC-сервер (WTF??!) UnrealIRCd, скачанный с офф-сайта.

Зайти на канал и спросить совета у товарищей. :)

[RG22EM]

О!!!
А у меня после взлома одного сайта тоже пошла спам рассылка, обновился до 16 версии - перестала работать
DNS связка master-master средствами VESTA (v-add-remote-dns-host)
Кто-то это использует?

UBUNTU 14.04 (обновилась тоже)

[RG22EM]

в общем, отрыл еще логи баша... довольно интересные наблюдения:

Может быть это все происходит из определенного взломанного ящика, например, слабый пароль? Или же внутри сервера что-то сидит? Как можно проследить это дело? И что это вообще, очередь чтоль? И как расшифровывается это дело? ну, помимо ящиков получателей спама.

А много сайтов?
Для начала качать бэкапы, разархивировать локально и проверять к примеру касперским
Зачистить бэкдоры и трояны на сайтах

Потом почистить спулер exim
exim - bp (покажет)
exipick -i | xargs exim -Mrm (удалит)

[lidner60]

в общем, отрыл еще логи баша... довольно интересные наблюдения:

Может быть это все происходит из определенного взломанного ящика, например, слабый пароль? Или же внутри сервера что-то сидит? Как можно проследить это дело? И что это вообще, очередь чтоль? И как расшифровывается это дело? ну, помимо ящиков получателей спама.

А много сайтов?
Для начала качать бэкапы, разархивировать локально и проверять к примеру касперским
Зачистить бэкдоры и трояны на сайтах

Потом почистить спулер exim
exim - bp (покажет)
exipick -i | xargs exim -Mrm (удалит)

сайтов с десяток, но они так, для себя, в основном самолично написанные небольшие скрипты. бекдоры и трояны -- очень маловероятно по этой причине.
в почтовых делах не силен, может быть можно как-нить глянуть, с какого ящика оно отсылается, или каким способом, что могло бы натолкнуть на мысль, где косяк? в принципе, на некоторых ящиках пароли очень простые, по любому словарю можно найти, вопрос только в том, что подбирать просто некому. разве что в автоматическом режиме, как брутфорс ssh. Может быть так же ломятся на pop3 или imap (это вообще возможно?) с брутфорсом по словарю логин-пароль. но опять же, учитывая, что немногие серверы настроены на отправку почты, потому, кажется, что так брутфорсеры не делают. Или я не прав?

[RG22EM]

Скинь лог - exim -bp > log.txt
гляну
ящик ua6em на яндексе

кстати, в самой весте в разделе почты они (отправители есть жеж)
Top 50 sending hosts by volume - к примеру

[lidner60]

Скинь лог - exim -bp > log.txt

лог пустой, так как командой из предыдущего Вашего поста я спулер очистил (
за это время ничего не набилось. возможно, это просто висело с времен, когда взломали серв...

[lidner60]

После этого всего начал виснуть сервак. Сайты перестают открываться (панель в том числе) (не работает даже DNS-сервер). Пинг идет нормально. По ssh не зайти, даже через VNC хостера, предоставляющего ВДС-ку. Пишутся какие-то ошибки, без курсора. После принудительной перезагрузки у хостера в панели, работает нормально.

вот что пишется у хостера из консоли:



не совсем понимаю... нехватка памяти и убивается эксим? :/