We are happy to announce that Vesta is back under active development as of 25 February 2024. We are working on v1 candidate and expect to engage more with the community over the coming months. We are committed to open source, and we encourage contributors to help us build the future of Vesta.
Грузит сервер до максимума с периодичностью в сутки
Грузит сервер до максимума с периодичностью в сутки
Раз в сутки, грузит сервер до максимума. Причем заметного проседания в плане производительности не наблюдаю. Сайты доступны, все на первый взгляд ок. Наткнулся на это после того, как на почту стали валиться письма о невозможности сделать бэкап юзера из-за высокого load average. Глянув в ssh команду htop заметил загрузку всех ядер проца на 100%, сортировку по колонке TIME+ делаю, там висят процессы которые грузят все железо. Приметно то, что в колонке Command стоят прочерки -, висит таких процессов около 10, один из них висит и named.
Я естественно делаю kill всех этих процессов, пере запускаю все службы. Все работает после этого опять нормально, потом в течении следующих суток все повторяется. Устал...
Конфигурация сервера не слабая, 4 ядра, SSD, 16 Гб оперативки.. да вообщем сервер топовой конфы.
На графике низ, время после которого я килял процессы и все пере запускал, пик - моя головная боль. Грешил на какую-нибудь задачу cron`a, но на втором графике видно, что все началось примерно в 12ть часов дня, никаких заданий крона на это время нет.
Вот свежий график htop:
UPD: Появились новые процессы вместо прочерков которые загружают все ядра на 100%. /usr/sbin/httpd0208
Я естественно делаю kill всех этих процессов, пере запускаю все службы. Все работает после этого опять нормально, потом в течении следующих суток все повторяется. Устал...
Конфигурация сервера не слабая, 4 ядра, SSD, 16 Гб оперативки.. да вообщем сервер топовой конфы.
На графике низ, время после которого я килял процессы и все пере запускал, пик - моя головная боль. Грешил на какую-нибудь задачу cron`a, но на втором графике видно, что все началось примерно в 12ть часов дня, никаких заданий крона на это время нет.
Вот свежий график htop:
UPD: Появились новые процессы вместо прочерков которые загружают все ядра на 100%. /usr/sbin/httpd0208
Re: Грузит сервер до максимума с периодичностью в сутки
Я так понимаю, что ответа (совета) не поступит...
Re: Грузит сервер до максимума с периодичностью в сутки
Интересно, какой ответ вы хотели получить? У вас высокий LA, процессы грузят проц... надо бы смотреть - отключать. Грузят по скриншопам днс и вебсервер. Прибейте процессы и запустите снова. Последите. Заодно стоит посмотреть логи на предмет ошибок.
Re: Грузит сервер до максимума с периодичностью в сутки
Я вижу что высокий LA. Да только что , что я сделать должен??? Я прибиваю эти процессы, все возвращается на свои места, все ок, но каждый день в какое-то время все повторяется. Вот так сижу и каждый день делаю килл 6-10 процессов, потом service bind9 restart и так по циклу день за днем.skurudo wrote:Интересно, какой ответ вы хотели получить? У вас высокий LA, процессы грузят проц... надо бы смотреть - отключать. Грузят по скриншопам днс и вебсервер. Прибейте процессы и запустите снова. Последите. Заодно стоит посмотреть логи на предмет ошибок.
Re: Грузит сервер до максимума с периодичностью в сутки
Нужно больше ясности.
Смотрите логи.
В какое?но каждый день в какое-то время все повторяется
Смотрите логи.
Re: Грузит сервер до максимума с периодичностью в сутки
Также можно пересоздать ДНС записи по доменам, чтобы проверить, в них ли дело - выберите пользователей и ребилдите днс. Делается быстро и одной кнопкой буквально.matthew wrote:Я вижу что высокий LA. Да только что , что я сделать должен??? Я прибиваю эти процессы, все возвращается на свои места, все ок, но каждый день в какое-то время все повторяется. Вот так сижу и каждый день делаю килл 6-10 процессов, потом service bind9 restart и так по циклу день за днем.
Погодите, вы используете днс сервер свой? Нет? Тогда остановите процесс - service bind9 stop
Если используете, нужно изучать /var/log на предмет ошибок.
Re: Грузит сервер до максимума с периодичностью в сутки
Нет, я его использую и не могу выключить. Ребилд я сделаю, посмотрим поможет ли.
Что касается времени, то вот скрин:
Видно что (причем примерно всегда так) в обед, чуток позже начинается. Спад на минимум, это момент, когда я делаю kill процессов негодяев и restart бинда. Дальше все хорошо и после обеда начинается все заново и если я ничего не буду делать, график будет расти и расти.
Логи... К сожалению я не очень силен в их читабельности.
Вот несколько строк из файла /var/log/dns/security-info.log (на всякий случай):
Вот из файла /var/log/dns/named.log (брал самые подозрительные строки, т.к. их очень много):
Как-то так.
Что касается времени, то вот скрин:
Видно что (причем примерно всегда так) в обед, чуток позже начинается. Спад на минимум, это момент, когда я делаю kill процессов негодяев и restart бинда. Дальше все хорошо и после обеда начинается все заново и если я ничего не буду делать, график будет расти и расти.
Логи... К сожалению я не очень силен в их читабельности.
Вот несколько строк из файла /var/log/dns/security-info.log (на всякий случай):
SpoilerShow
22-May-2014 06:25:55.125 security: info: client 78.46.75.45#48954: query (cache) './NS/IN' denied
22-May-2014 07:06:55.532 security: info: client 74.82.47.8#47376: query (cache) 'dnsscan.shadowserver.org/A/IN' denied
22-May-2014 07:57:21.775 security: warning: using built-in root key for view _default
22-May-2014 10:19:04.147 security: info: client 94.102.51.229#52317: query (cache) 'zing.zong.co.ua/ANY/IN' denied
22-May-2014 10:59:51.878 security: info: client 95.211.174.76#41871: query (cache) 'infoblox.com/ANY/IN' denied
22-May-2014 14:04:24.756 security: warning: using built-in root key for view _default
22-May-2014 14:04:24.970 security: warning: using built-in root key for view _default
22-May-2014 15:15:38.687 security: warning: using built-in root key for view _default
22-May-2014 15:15:38.727 security: warning: using built-in root key for view _default
22-May-2014 15:15:50.999 security: warning: using built-in root key for view _default
22-May-2014 15:22:31.458 security: warning: using built-in root key for view _default
22-May-2014 15:27:54.458 security: warning: using built-in root key for view _default
22-May-2014 17:45:07.495 security: info: client 82.221.105.6#34110: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:40:41.172 security: info: client 124.232.142.220#55781: query (cache) 'www.google.it/A/IN' denied
22-May-2014 20:43:11.111 security: info: client 89.248.160.198#38734: query (cache) 'zing.zong.co.ua/A/IN' denied
22-May-2014 20:56:05.288 security: info: client 198.20.70.114#60067: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:10.941 security: info: client 198.20.70.114#54982: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:21.202 security: info: client 198.20.70.114#43329: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:35.138 security: info: client 198.20.70.114#57062: query (cache) 'shodan.io/A/IN' denied
23-May-2014 01:18:45.855 security: info: client 80.82.70.138#45467: query (cache) '1x1.cz/ANY/IN' denied
22-May-2014 07:06:55.532 security: info: client 74.82.47.8#47376: query (cache) 'dnsscan.shadowserver.org/A/IN' denied
22-May-2014 07:57:21.775 security: warning: using built-in root key for view _default
22-May-2014 10:19:04.147 security: info: client 94.102.51.229#52317: query (cache) 'zing.zong.co.ua/ANY/IN' denied
22-May-2014 10:59:51.878 security: info: client 95.211.174.76#41871: query (cache) 'infoblox.com/ANY/IN' denied
22-May-2014 14:04:24.756 security: warning: using built-in root key for view _default
22-May-2014 14:04:24.970 security: warning: using built-in root key for view _default
22-May-2014 15:15:38.687 security: warning: using built-in root key for view _default
22-May-2014 15:15:38.727 security: warning: using built-in root key for view _default
22-May-2014 15:15:50.999 security: warning: using built-in root key for view _default
22-May-2014 15:22:31.458 security: warning: using built-in root key for view _default
22-May-2014 15:27:54.458 security: warning: using built-in root key for view _default
22-May-2014 17:45:07.495 security: info: client 82.221.105.6#34110: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:40:41.172 security: info: client 124.232.142.220#55781: query (cache) 'www.google.it/A/IN' denied
22-May-2014 20:43:11.111 security: info: client 89.248.160.198#38734: query (cache) 'zing.zong.co.ua/A/IN' denied
22-May-2014 20:56:05.288 security: info: client 198.20.70.114#60067: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:10.941 security: info: client 198.20.70.114#54982: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:21.202 security: info: client 198.20.70.114#43329: query (cache) 'shodan.io/A/IN' denied
22-May-2014 20:56:35.138 security: info: client 198.20.70.114#57062: query (cache) 'shodan.io/A/IN' denied
23-May-2014 01:18:45.855 security: info: client 80.82.70.138#45467: query (cache) '1x1.cz/ANY/IN' denied
SpoilerShow
22-May-2014 03:48:19.600 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:19.913 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:21.032 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:21.342 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:23.488 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:25.400 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:29.100 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:31.006 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 05:51:42.770 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones
22-May-2014 05:51:53.538 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones
22-May-2014 14:04:24.754 general: info: received control channel command 'reload'
22-May-2014 14:04:24.754 general: info: loading configuration from '/etc/bind/named.conf'
22-May-2014 14:04:24.754 general: info: reading built-in trusted keys from file '/etc/bind/bind.keys'
22-May-2014 14:04:24.754 general: info: using default UDP/IPv4 port range: [1024, 65535]
22-May-2014 14:04:24.754 general: info: using default UDP/IPv6 port range: [1024, 65535]
22-May-2014 14:04:24.755 network: info: no IPv6 interfaces found
22-May-2014 14:04:24.755 general: info: sizing zone task pool based on 6 zones
22-May-2014 14:04:24.756 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones
22-May-2014 14:04:24.757 general: info: reloading configuration succeeded
22-May-2014 14:04:24.758 general: info: reloading zones succeeded
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 199.7.83.42#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 199.7.83.42#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 199.7.91.13#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.58.128.30#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 199.7.91.13#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.58.128.30#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.112.36.4#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.112.36.4#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.33.4.12#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.36.148.17#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.33.4.12#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.36.148.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.16#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.16#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.3#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.3#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.4#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.4#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.16#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.16#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.3#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.3#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.4#53
22-May-2014 03:48:19.913 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:21.032 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:21.342 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:23.488 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:25.400 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 03:48:29.100 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.6#53
22-May-2014 03:48:31.006 lame-servers: info: error (unexpected RCODE REFUSED) resolving '183.243.255.116.in-addr.arpa/PTR/IN': 203.171.230.7#53
22-May-2014 05:51:42.770 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones
22-May-2014 05:51:53.538 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones
22-May-2014 14:04:24.754 general: info: received control channel command 'reload'
22-May-2014 14:04:24.754 general: info: loading configuration from '/etc/bind/named.conf'
22-May-2014 14:04:24.754 general: info: reading built-in trusted keys from file '/etc/bind/bind.keys'
22-May-2014 14:04:24.754 general: info: using default UDP/IPv4 port range: [1024, 65535]
22-May-2014 14:04:24.754 general: info: using default UDP/IPv6 port range: [1024, 65535]
22-May-2014 14:04:24.755 network: info: no IPv6 interfaces found
22-May-2014 14:04:24.755 general: info: sizing zone task pool based on 6 zones
22-May-2014 14:04:24.756 general: warning: Warning: 'empty-zones-enable/disable-empty-zone' not set: disabling RFC 1918 empty zones
22-May-2014 14:04:24.757 general: info: reloading configuration succeeded
22-May-2014 14:04:24.758 general: info: reloading zones succeeded
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 199.7.83.42#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 199.7.83.42#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 199.7.91.13#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.58.128.30#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 199.7.91.13#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.58.128.30#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.112.36.4#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.112.36.4#53
22-May-2014 15:15:39.806 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.33.4.12#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving 'local/SOA/IN': 192.36.148.17#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.33.4.12#53
22-May-2014 15:15:39.807 lame-servers: info: error (network unreachable) resolving './NS/IN': 192.36.148.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.16#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.16#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.3#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.3#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.17#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.4#53
22-May-2014 15:15:51.012 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.4#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 128.175.13.16#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 128.175.13.16#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.3#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/AAAA/IN': 149.20.68.3#53
22-May-2014 15:15:51.013 lame-servers: info: error (network unreachable) resolving '0.debian.pool.ntp.org/A/IN': 149.20.68.4#53
Re: Грузит сервер до максимума с периодичностью в сутки
Помониторьте, как пойдут дела.
А я пока припас еще один рецепт про запас - https://sku.su/dsDdF
А я пока припас еще один рецепт про запас - https://sku.su/dsDdF
Re: Грузит сервер до максимума с периодичностью в сутки
Вот уже пару дней полет отличный. От души благодарю за помощь! Помог ребилд DNSskurudo wrote:Помониторьте, как пойдут дела.
А я пока припас еще один рецепт про запас - https://sku.su/dsDdF
Re: Грузит сервер до максимума с периодичностью в сутки
Музыка не долго играла(( Теперь вот такая ерунда:
Иногда таких httpd процессов может быть несколько. Я его kill, а он через пару минут снова появляется и висит до бесконечности загружая 1 ядро на 100%. Если таких процессов появляется 2, то тогда 2 ядра на 100% и так продолжается пока я kill не сделаю.
Иногда таких httpd процессов может быть несколько. Я его kill, а он через пару минут снова появляется и висит до бесконечности загружая 1 ядро на 100%. Если таких процессов появляется 2, то тогда 2 ядра на 100% и так продолжается пока я kill не сделаю.