100% загрузка дисков от бекапов

[Strannic]

Помогите решить критическую проблему.
Ежедневно ночью сервер ложится на 4 часа.
По всей видимости от бекапов, потому что именно Disk I/O utilization дает 100% загруженность на диски, отсюда идет нагрузка на все остальное.



Разве от бекапов идет на такое длительное время 100% загрузка на диск ?
Отключил почти все сайты для бекапа, оставил бекап юзера админ и один сайт.
На почту приходят уведомления что они забекапились в течении 1 и 37 минут соотвественно.
Больше из сайтов ничего не бекапится. Но все равно сервер ложится.

Помогите определить источник проблемы и как ее устранить ?

Можно ли на время пока решается проблема отключить абсолютно все бекапы включая и системные ?

[one]

Ну еще ротация логов происходит. Если логи большие и много, то нагрузку тоже ощутимую может давать. Но на 4ре часа... Должен быть оооочень большой сервер с оооочень большими логами. )

[Mr.Erbutw]

Отключить в crone

Code: Select all

sudo /usr/local/vesta/bin/v-backup-users 

и посмотреть как себя будет вести.
Хотя это не нормально, сайт сколько весит ?
А в логах бекапа без ошибок ?

[Strannic]

Вчера отключил бекапы по совету коллеги, таким образом


сегодня нагрузка была точно такая же.
именно бекапы не делались.

В логах ошибки бекапа пусто.

[Strannic]

В общем покопался, в логах апача оказалось 100 гигабайт, все удалил, настроил апач писать только критические логи.
также настроил ротацию логов на создание только 2 архивов.

Единственное что удалил папку domains
/var/log/apache2/domains/

теперь создал, но не знаю какие права на нее правильно поставить и владельца чтобы логи апача писались ?

[skurudo]

Единственное что удалил папку domains /var/log/apache2/domains/
теперь создал, но не знаю какие права на нее правильно поставить и владельца чтобы логи апача писались ?

Code: Select all

drwxrwx--x  2 root root 4096 Sep  4 06:25 domains

Code: Select all

-rw-r----- 1 www-data admin 157738 Sep  9 15:20 xxx.ru.log

[Strannic]

Спасибо апач вроде бы смог создать файлы, но видимо логи нужно было очищать не просто удалением файлов логов.

Получил сегодня кучу пустых файлов логов с доменов в папке
/var/log/apache2/domains/
вида
domain.com.bytes
domain2.com.bytes

И получил сообщение с ошибками на почту от /usr/local/vesta/bin/v-update-web-domains-traff

помогите правильно восстановить логи

а также первоначальная проблема все таки осталась.
Также 4 часа 100% нагрузка на диски.
Бекапы отключены, папка var/logs весит 400M
Помогите найти причину загрузки дисков ?

[Strannic]

так и не решил проблему, сервер ложится на 4 часа каждую ночь.
Подскажите как понять что ложит сервер из крон заданий ?

[Petr]

Не знаю актуален ответ или нет, но... В момент нагрузки на диск открывайте atop и жмакайте клавишу 'd', так вы увидите какой процесс нагружает диск.

[skurudo]

Спасибо апач вроде бы смог создать файлы, но видимо логи нужно было очищать не просто удалением файлов логов.

Способ не один, но они сводятся к одному в итоге:

Code: Select all

cp /dev/null filename.log

помогите правильно восстановить логи

Каких не хватает?

а также первоначальная проблема все таки осталась.
Также 4 часа 100% нагрузка на диски.
Бекапы отключены, папка var/logs весит 400M
Помогите найти причину загрузки дисков ?

В случае с VPS/VDS нагрузка на диски - соседи или ограничение на использование дисков (скорость операций чтения-записи). Случай из жизни был вот какой - была виртуалка на ssd дисках и добрый хостер посчитал, что мы их используем слишком активно в итоге накинул ограничения на чтения-запись. Причем ограничения были такие, что файловые операции копирования стали медленнее чем на sata-дисках. На попытки указать, что за дела - скорость-то тю-тю, хостер мило заявлял - для вебсерверов такие ограничения не сказываются на работе. Ну вот как-то так.

- Попробуйте посмотреть скорость копирования файлов
- Попинайте хостера, если у вас виртуалка, есть ли ограничения на файловые операции и какие.