Page 1 of 2

Грузит сервер до максимума с периодичностью в сутки

Posted: Wed Apr 08, 2015 10:20 pm
by matthew
Раз в сутки, грузит сервер до максимума. Причем заметного проседания в плане производительности не наблюдаю. Сайты доступны, все на первый взгляд ок. Наткнулся на это после того, как на почту стали валиться письма о невозможности сделать бэкап юзера из-за высокого load average. Глянув в ssh команду htop заметил загрузку всех ядер проца на 100%, сортировку по колонке TIME+ делаю, там висят процессы которые грузят все железо. Приметно то, что в колонке Command стоят прочерки -, висит таких процессов около 10, один из них висит и named.

Я естественно делаю kill всех этих процессов, пере запускаю все службы. Все работает после этого опять нормально, потом в течении следующих суток все повторяется. Устал...

Конфигурация сервера не слабая, 4 ядра, SSD, 16 Гб оперативки.. да вообщем сервер топовой конфы.

Image

Image

На графике низ, время после которого я килял процессы и все пере запускал, пик - моя головная боль. Грешил на какую-нибудь задачу cron`a, но на втором графике видно, что все началось примерно в 12ть часов дня, никаких заданий крона на это время нет.

Вот свежий график htop:
Image
Image

UPD: Появились новые процессы вместо прочерков которые загружают все ядра на 100%. /usr/sbin/httpd0208

Image

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Tue Apr 21, 2015 8:36 am
by matthew
Я так понимаю, что ответа (совета) не поступит...

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Tue Apr 21, 2015 2:40 pm
by skurudo
Интересно, какой ответ вы хотели получить? У вас высокий LA, процессы грузят проц... надо бы смотреть - отключать. Грузят по скриншопам днс и вебсервер. Прибейте процессы и запустите снова. Последите. Заодно стоит посмотреть логи на предмет ошибок.

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Thu Apr 23, 2015 8:58 pm
by matthew
skurudo wrote:Интересно, какой ответ вы хотели получить? У вас высокий LA, процессы грузят проц... надо бы смотреть - отключать. Грузят по скриншопам днс и вебсервер. Прибейте процессы и запустите снова. Последите. Заодно стоит посмотреть логи на предмет ошибок.
Я вижу что высокий LA. Да только что , что я сделать должен??? Я прибиваю эти процессы, все возвращается на свои места, все ок, но каждый день в какое-то время все повторяется. Вот так сижу и каждый день делаю килл 6-10 процессов, потом service bind9 restart и так по циклу день за днем.

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Thu Apr 23, 2015 10:14 pm
by imperio
Нужно больше ясности.
но каждый день в какое-то время все повторяется
В какое?
Смотрите логи.

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Fri Apr 24, 2015 9:42 am
by skurudo
matthew wrote:Я вижу что высокий LA. Да только что , что я сделать должен??? Я прибиваю эти процессы, все возвращается на свои места, все ок, но каждый день в какое-то время все повторяется. Вот так сижу и каждый день делаю килл 6-10 процессов, потом service bind9 restart и так по циклу день за днем.
Также можно пересоздать ДНС записи по доменам, чтобы проверить, в них ли дело - выберите пользователей и ребилдите днс. Делается быстро и одной кнопкой буквально.

Image

Погодите, вы используете днс сервер свой? Нет? Тогда остановите процесс - service bind9 stop
Если используете, нужно изучать /var/log на предмет ошибок.

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Fri Apr 24, 2015 6:23 pm
by matthew
Нет, я его использую и не могу выключить. Ребилд я сделаю, посмотрим поможет ли.
Что касается времени, то вот скрин:
Image

Видно что (причем примерно всегда так) в обед, чуток позже начинается. Спад на минимум, это момент, когда я делаю kill процессов негодяев и restart бинда. Дальше все хорошо и после обеда начинается все заново и если я ничего не буду делать, график будет расти и расти.

Логи... К сожалению я не очень силен в их читабельности.
Вот несколько строк из файла /var/log/dns/security-info.log (на всякий случай):
SpoilerShow
22-May-2014 06:25:55.125 security: info: client 78.46.75.45#48954: query (cache) './NS/IN' denied
22-May-2014 07:06:55.532 security: info: client 74.82.47.8#47376: query (cache) 'dnsscan.shadowserver.org/A/IN' denied
22-May-2014 07:57:21.775 security: warning: using built-in root key for view _default
22-May-2014 10:19:04.147 security: info: client 94.102.51.229#52317: query (cache) 'zing.zong.co.ua/ANY/IN' denied
22-May-2014 10:59:51.878 security: info: client 95.211.174.76#41871: query (cache) 'infoblox.com/ANY/IN' denied
22-May-2014 14:04:24.756 security: warning: using built-in root key for view _default
22-May-2014 14:04:24.970 security: warning: using built-in root key for view _default
22-May-2014 15:15:38.687 security: warning: using built-in root key for view _default
22-May-2014 15:15:38.727 security: warning: using built-in root key for view _default
22-May-2014 15:15:50.999 security: warning: using built-in root key for view _default
22-May-2014 15:22:31.458 security: warning: using built-in root key for view _default
22-May-2014 15:27:54.458 security: warning: using built-in root key for view _default
22-May-2014 17:45:07.495 security: info: client 82.221.105.6#34110: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:40:41.172 security: info: client 124.232.142.220#55781: query (cache) 'www.google.it/A/IN' denied
22-May-2014 20:43:11.111 security: info: client 89.248.160.198#38734: query (cache) 'zing.zong.co.ua/A/IN' denied
22-May-2014 20:56:05.288 security: info: client 198.20.70.114#60067: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:10.941 security: info: client 198.20.70.114#54982: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:21.202 security: info: client 198.20.70.114#43329: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:35.138 security: info: client 198.20.70.114#57062: query (cache) 'shodan.io/A/IN' denied
23-May-2014 01:18:45.855 security: info: client 80.82.70.138#45467: query (cache) '1x1.cz/ANY/IN' denied
Вот из файла /var/log/dns/named.log (брал самые подозрительные строки, т.к. их очень много):
SpoilerShow
22-May-2014 03:48:19.600 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:19.913 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:21.032 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:21.342 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:23.488 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:25.400 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:29.100 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:31.006 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53

22-May-2014 05:51:42.770 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones

22-May-2014 05:51:53.538 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones

22-May-2014 14:04:24.754 general: info: received control channel command 'reload'
22-May-2014 14:04:24.754 general: info: loading configuration from '/etc/bind/named.conf'
22-May-2014 14:04:24.754 general: info: reading built-in trusted keys from file '/etc/bind/bind.keys'
22-May-2014 14:04:24.754 general: info: using default UDP/IPv4 port range: [1024, 65535]
22-May-2014 14:04:24.754 general: info: using default UDP/IPv6 port range: [1024, 65535]
22-May-2014 14:04:24.755 network: info: no IPv6 interfaces found
22-May-2014 14:04:24.755 general: info: sizing zone task pool based on 6 zones
22-May-2014 14:04:24.756 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones
22-May-2014 14:04:24.757 general: info: reloading configuration succeeded
22-May-2014 14:04:24.758 general: info: reloading zones succeeded

22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 199.7.83.42#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 199.7.83.42#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 199.7.91.13#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.58.128.30#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 199.7.91.13#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.58.128.30#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.112.36.4#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.112.36.4#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.33.4.12#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.36.148.17#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.33.4.12#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.36.148.17#53

22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.16#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.16#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.3#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.3#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.4#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.4#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.16#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.16#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.3#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.3#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.4#53
Как-то так.

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Fri Apr 24, 2015 6:35 pm
by skurudo
Помониторьте, как пойдут дела.
А я пока припас еще один рецепт про запас - https://sku.su/dsDdF

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Mon Apr 27, 2015 7:05 am
by matthew
skurudo wrote:Помониторьте, как пойдут дела.
А я пока припас еще один рецепт про запас - https://sku.su/dsDdF
Вот уже пару дней полет отличный. От души благодарю за помощь! Помог ребилд DNS

Re: Грузит сервер до максимума с периодичностью в сутки

Posted: Wed Apr 29, 2015 6:33 pm
by matthew
Музыка не долго играла(( Теперь вот такая ерунда:
Image

Иногда таких httpd процессов может быть несколько. Я его kill, а он через пару минут снова появляется и висит до бесконечности загружая 1 ядро на 100%. Если таких процессов появляется 2, то тогда 2 ядра на 100% и так продолжается пока я kill не сделаю.