Page 1 of 2

Опции резервного копирования

Posted: Wed Jul 29, 2015 7:45 pm
by zigbert
Здравствуйте, уважаемые разработчики.
Спасибо за мою любимую панель!

Скажите пожалуйста, есть ли возможность задавать опции резервного копирования при помощи параметров скрипта в cron?

Например, мне бы очень хотелось чтобы была возможность делать подобные штуки:
sudo /usr/local/vesta/bin/v-backup-user admin mysql ftp

У меня получается очень большой бэкап, если архивировать все полностью и гонять ежедневно под сотню гигабайт по сети как-то не очень здорово, да и хостинга, куда заливаются бэкапы едва ли хватит на 1 :)

Частично решил вопрос, добавив откорректированный скрипт v-backup-user (откуда вырезал все лишнее, кроме дампа mysql), но как сделать, чтобы только дампы mysql отправлялись по ftp пока не разобрался.

Думаю, что описанный функционал был бы полезен многим - например в моем случае можно ежедневно делать только бэкап mysql локально и на ftp, а полный бэкап делать локально раз в неделю.

Чтобы два раза не вставать, задам еще один вопрос: можно ли ограничить tar, чтобы он не создавал близкую к 100% загрузку процессора во время создания эпических размеров архивов?

Спасибо за ответ.

Re: Опции резервного копирования

Posted: Wed Jul 29, 2015 8:32 pm
by skurudo
zigbert wrote: Скажите пожалуйста, есть ли возможность задавать опции резервного копирования при помощи параметров скрипта в cron? Например, мне бы очень хотелось чтобы была возможность делать подобные штуки:
sudo /usr/local/vesta/bin/v-backup-user admin mysql ftp
А вот кстати и нет. Странное дело, но раньше такой очевидной идеи не встречал на форуме. По всей видимости кейс не слишком частый, хотя безусловно полезный. Частично (но не целиком) можно решить, используя "исключения" в настройках бэкапа. Т.е. имея пользователя админ и юзер под одним можно делать полный бэкап, а под другим бэкап пользователя с исключениями. Кривоватая схемка получилась.. но может взлететь.
zigbert wrote:Думаю, что описанный функционал был бы полезен многим - например в моем случае можно ежедневно делать только бэкап mysql локально и на ftp, а полный бэкап делать локально раз в неделю.
Если не сложно, добавьте идею. Я с удовольствием добавлю голос!
http://bugs.vestacp.com/

Re: Опции резервного копирования

Posted: Wed Jul 29, 2015 8:39 pm
by skurudo
zigbert wrote:Чтобы два раза не вставать, задам еще один вопрос: можно ли ограничить tar, чтобы он не создавал близкую к 100% загрузку процессора во время создания эпических размеров архивов?
А вот и можно :)
Есть сторонние утилиты, вроде cpulimit. Можно задавать PID процесса, имя процесса либо полный путь до запускаемой программы.

Ключи cpulimit:
-p : PID процесса.
-e : Имя процесса.
-l : Рамки ограницения потребления CPU от 0 до 100.
-P : Абсолютный путь до имени исполняемой программы.

Можно использовать nice или задать лимиты в /etc/security/limits.conf

PS: Но вот дело в чем, при ограничении по процессору у вас сама процедура резервного копирования будет выполняться дольше.

Re: Опции резервного копирования

Posted: Wed Jul 29, 2015 8:42 pm
by skurudo
zigbert wrote: Чтобы два раза не вставать, задам еще один вопрос: можно ли ограничить tar, чтобы он не создавал близкую к 100% загрузку процессора во время создания эпических размеров архивов?
Мне бы ваши проблемы ) Я вот долго искал безутешно возможность, чтобы tar использовал больше ядер процессоров. А то ведь странно получается, один трудится - остальные халтурят. Оказалось, нужно использовать pigz и pbzip2.

Re: Опции резервного копирования

Posted: Wed Jul 29, 2015 9:56 pm
by zigbert
skurudo wrote: А вот кстати и нет. Странное дело, но раньше такой очевидной идеи не встречал на форуме. По всей видимости кейс не слишком частый, хотя безусловно полезный. Частично (но не целиком) можно решить, используя "исключения" в настройках бэкапа. Т.е. имея пользователя админ и юзер под одним можно делать полный бэкап, а под другим бэкап пользователя с исключениями. Кривоватая схемка получилась.. но может взлететь.

Если не сложно, добавьте идею. Я с удовольствием добавлю голос!
http://bugs.vestacp.com/
Я решил этот вопрос еще одним скриптом вместо добавления пользователя. Другой вопрос, что настройки резервного копирования "local, ftp" общие для всех пользователей и для всех скриптов, а я предлагаю дать возможность выбора настройки при помощи аргумента "ftp" при вызове скрипта.

В багтрекер написать не получается (он похоже завис)
Попробую завтра

Re: Опции резервного копирования

Posted: Wed Jul 29, 2015 10:11 pm
by zigbert

Re: Опции резервного копирования

Posted: Tue Aug 11, 2015 9:49 am
by skurudo
zigbert wrote:Добавил в трекер
https://bugs.vestacp.com/responses/pros ... pirovaniya
Спасибо!

Re: Опции резервного копирования

Posted: Tue Aug 11, 2015 4:37 pm
by imperio
А в чем смысл этой идеи?
Чем не подходит раздел исключений для бекапов? Также можно оставить на бекап только базы и домены к примеру.

Re: Опции резервного копирования

Posted: Tue Aug 11, 2015 9:22 pm
by skurudo
imperio wrote:А в чем смысл этой идеи?
Чем не подходит раздел исключений для бекапов? Также можно оставить на бекап только базы и домены к примеру.
Идея в том, чтобы делать бэкапы по нескольким схемам: 1) все целиком, и одновременно 2) что-то другое - базы к примеру. Без костылей сейчас такое не сделаешь.

Re: Опции резервного копирования

Posted: Wed Aug 19, 2015 1:24 pm
by zigbert
skurudo wrote:
imperio wrote:А в чем смысл этой идеи?
Чем не подходит раздел исключений для бекапов? Также можно оставить на бекап только базы и домены к примеру.
Идея в том, чтобы делать бэкапы по нескольким схемам: 1) все целиком, и одновременно 2) что-то другое - базы к примеру. Без костылей сейчас такое не сделаешь.
Именно в этом идея, создать одновременно несколько схем копирования.
Например, для посещаемого форума/блога и т.п. - ежедневное копирование только базы + раз в неделю полное
Для остальных сайтов на этой же площадке - раз в неделю только база + раз в месяц полное
Про костыли абсолютно согласен