Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
Всем привет!
Есть Spring boot приложение, задеплоенное на Heroku и использующее addon MongoDB. Так как это пэт-проект, то и addon используется по free тарифу, который не предусматривает backup. Проект ежедневно используется, и данные таки нужно хранить.

Есть мысли:
1) в приложение прикрутить шедулер, который будет бекапить данные несколько раз в день.
2) настроить cron на бекапинг.

Все это должно само крутиться и не использовать личные ресурсы.

Вопросы:
1) если делать через спринговый шедулер, то куда можно сохранять базу?
2) есть ли на heroku addonы позволяющие по cronу бэкапить? Если да, прошу дать советов куда смотреть.

Если есть другие решения, буду рад узнать о них.
29 дек 19, 00:51    [22050919]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Valentin Kolesnikov
Member

Откуда:
Сообщений: 3266
Imperous,

Можно написать консольное приложение и запускать его через gitlab ci.

Хорошего вам дня!
29 дек 19, 08:14    [22050971]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4489
Imperous
backup. Проект ежедневно используется, и данные таки нужно хранить.

Непонятненько:
- если пэт проект, то причём тут архивирование, да ещё несколько раз в день? Бэкап это вопросы админства и к вопросам разработки отношения не имеют.
- что значит где хранить бэкап? В соседней папке\диске\облаке
- почему не спросить в ветке по БД как её бэкапить? Там вроде одна команда по запуску.
Или все эти проблемы от Heroku?
29 дек 19, 10:05    [22050980]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
Valentin Kolesnikov
Imperous,

Можно написать консольное приложение и запускать его через gitlab ci.

Хорошего вам дня!


Хотелось бы задействовать только силы heroku, без сторонней помощи. Повтыкаю еще в heroku cli, может там есть полезный функционал, правда сомневаюсь.
Если задействовать сторонние механизмы, то еще были мысли через амазоновскую виртуалку (aws) это сделать - установить клиента MongoDB и настроить cron на бекап прямо на жесткий диск той виртуалки. База там маленькая, но можно сразу делать бекап и архивировать. Единственное что смущает во всем этом деле - хранение бекапов в "труднодоступном месте". Больше бы радовало чтоб можно было скидывать бекап или архив сразу на гугл-драйв.
Gitlab посмотрю, не знаю что он умеет.

Спасибо! Взаимно!
29 дек 19, 13:31    [22051039]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
PetroNotC Sharp
Imperous
backup. Проект ежедневно используется, и данные таки нужно хранить.

Непонятненько:
- если пэт проект, то причём тут архивирование, да ещё несколько раз в день? Бэкап это вопросы админства и к вопросам разработки отношения не имеют.
- что значит где хранить бэкап? В соседней папке\диске\облаке
- почему не спросить в ветке по БД как её бэкапить? Там вроде одна команда по запуску.
Или все эти проблемы от Heroku?


Рассказываю :)
автор
- если пэт проект, то причём тут архивирование, да ещё несколько раз в день? Бэкап это вопросы админства и к вопросам разработки отношения не имеют.

Да, это пэт проект, которым пользуется небольшое количество людей, и я в том числе. Информация добавляется в течение дня и сказывается на все данные внесенные ранее. В данном случае сам разработчик и сам админ.
Вопрос бэкапирования базы важен, потому что на бесплатной подписке база крутиться только в ОЗУ. За более полугода, правда, сервер ни разу не перегружался и стабильно работает. Но ведь может же все одним махом улететь в трубу.
автор
- что значит где хранить бэкап? В соседней папке\диске\облаке

В Heroku я умею деплоить, настраивать переменные среды, пользоваться парочкой addon-ов. Об остальных возможностях я не знаю, и вот тут хотел поинтересоваться, может есть опыт и подсказали бы мне как можно решить задачу. Еще буду изучать возможности heroku, но сомневаюсь что там где-то можно установить клиент MongoDB, настроить крон, и складывать бекапы рядом. (Хмм пришли идеи, попробую кое-что).
автор
- почему не спросить в ветке по БД как её бэкапить? Там вроде одна команда по запуску.

Не стоит вопрос "как бекапить?", вопрос - как реализовать бэкап с меньшими потерями и сторонними реализациями.
автор
Или все эти проблемы от Heroku?

Heroku очень легок и удобен, думаю проблемным его назвать нельзя :)
29 дек 19, 13:49    [22051042]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4489
Imperous,
автор
Хотелось бы задействовать только силы heroku, без сторонней помощи.

Вот смотрите. Все базы бэкапят с помощью своих утилит.
Если зайти в ветку данной базы, то там тоже первый топик говорит чем бэкапить.
Но вам почему то нужны инструменты хост провайдера.
Я понимаю что есть всякие консоли разработчка и т.д.
У MS свои, у Oracle Cloud свои тысяча штук. У амазона свои.
Ну и зря. Имхо.
29 дек 19, 14:33    [22051055]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
PetroNotC Sharp
Imperous,
автор
Хотелось бы задействовать только силы heroku, без сторонней помощи.

Вот смотрите. Все базы бэкапят с помощью своих утилит.
Если зайти в ветку данной базы, то там тоже первый топик говорит чем бэкапить.
Но вам почему то нужны инструменты хост провайдера.
Я понимаю что есть всякие консоли разработчка и т.д.
У MS свои, у Oracle Cloud свои тысяча штук. У амазона свои.
Ну и зря. Имхо.

Есть и там возможность бекапить, но за деньги. Я ищу альтернативу.
29 дек 19, 17:54    [22051134]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
mayton
Member

Откуда: loopback
Сообщений: 45469
Imperous, как только появляется потребность в backup значит у информации появляется ценность
и твой проект уже вышел за рамки pet-проекта и его надо действительно перенести в нормальный хостинг
типа Amazon EC2. Там будешь бэкапировать встроенными средствами Linux. Миллион вариантов будет.
29 дек 19, 18:35    [22051143]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4489
Imperous
Есть и там возможность бекапить, но за деньги. Я ищу альтернативу.
за деньги это когда у тебя всё отобрали и нет доступа ни к чему?
Тогда mayton прав.
29 дек 19, 21:06    [22051194]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 9995
mayton
Imperous, как только появляется потребность в backup значит у информации появляется ценность
... но есть два варианта:
1. Денег нет;
2. Если заплатить деньги, то не будет маржи.
В общем, по моему скромному мнение, все (большинство) таких вопросов - от людей, которые "сметану на дерьме собирают".
Обсуждать банальные проблемы чужого бизнеса в техническом форуме - неинтересно, как минимум.
30 дек 19, 07:11    [22051285]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
gycb
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 326
Автор не пробовал читать доки хероку перед созданием темы?
Your data is safe with mLab. We offer flexible, multi-zone replication options as well as the ability to create recurring backup plans (hourly/daily/weekly/monthly) and initiate one-time snapshots to any S3 bucket.


К сообщению приложен файл. Размер - 44Kb
30 дек 19, 09:46    [22051323]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
gycb
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 326
это фри пакет если что ,твоя база бекапится автоматом раз в день,недостаточно для пет-проекта?
30 дек 19, 09:47    [22051324]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
Отлично, это так по sql.ru, налететь и рассказать какой автор плохой. Не будьте как быдло, человек спросил, видишь решение или его ошибку - подскажи. Не нужно сразу обсырать за то что автор якобы чего-то не делал, или банально не знает, или не видит решения.
И не нужно дофантазировать.
Проект бесплатен, денег с него никто не имеет. И сам проект никому не приносит денег.
Про бесплатный бекап раз в день, сейчас нет возможности проверить, но раньше (в середине лета этого года) этого или не было, или таки да не заметил.

Добрый надо быть, иначе п....z.
30 дек 19, 11:23    [22051363]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
gycb
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 326
Imperous,не ругайся,скоро Новый Год ,а ты такой злой.На тебя никто не налетал если что
вот адон - на фри тарифе дейли бекап ,можно и кастомы делать
https://elements.heroku.com/addons/mongolab
30 дек 19, 11:29    [22051366]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4489
Imperous,
Отлично. Ты так прекрасно налетел и обосрал всех тут кто подсказывал))).
Это так на тебя похоже)
...
В java не любят ленивых. В бд ветку не ходил, доки прова не читал.
Мы добрые. А ты не девочка вроде.
30 дек 19, 11:32    [22051369]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
gycb
это фри пакет если что ,твоя база бекапится автоматом раз в день,недостаточно для пет-проекта?

Там говорится о том что возможность есть, но стоит это 15$ в месяц.

К сообщению приложен файл. Размер - 118Kb
30 дек 19, 12:28    [22051429]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
Итого, пока мысль такая.
На aws создать виртуалку, там:
1) установить mongodb драйвера
2) установить google-drive-ocamlfuse
3) настроить крон на бекап сразу на гуглдиск.

Собственно выглядит так, просто, и вроде дело в шляпе.
30 дек 19, 12:40    [22051438]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4489
Imperous,
Виртуалка бесплатная? С осью линукс?
30 дек 19, 12:51    [22051457]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
gycb
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 326
Imperous,сноску читал?
в 2018 сборы по бекапу на этих тарифах упразднены

и скорей всего для хероку юзеров это бесплатно
в хероку черным по белому написано же
1 бесплатный дейли бекап
не проще ли проверить на деле?
30 дек 19, 12:54    [22051461]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4489
Imperous,
автор
Как я умудрился за 1 день задолжать Amazon 12000$

https://habr.com/ru/post/357764/
30 дек 19, 12:57    [22051465]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
gycb
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 326
PetroNotC Sharp,
в хероку написано 1 дейли бекап во фрии
автор зачем то лезет в майлаб и пытается смотреть их планы,вместо того чтобы смотреть планы,опубликованные на хероку

это называется колоборация-тоесть тебе партнер дает какую то фри фишечку ,если это используется на его площадке или по его ссылкам
я не думаю что от потери 50 центов в день майлаб разорится

ну и справедливости ради у меня на хероку уже 1.5 года крутится телеграм бот на MySql и ничего там не упало ни разу ,база цела и не вредима

а так да хероку очень удобная штука ,особенно для демонстрации своих проектов или же боевых тестов
30 дек 19, 13:07    [22051478]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
gycb
Imperous,сноску читал?
в 2018 сборы по бекапу на этих тарифах упразднены

и скорей всего для хероку юзеров это бесплатно
в хероку черным по белому написано же
1 бесплатный дейли бекап
не проще ли проверить на деле?


1 бекап стоит 0.5$
30 дек 19, 16:47    [22051712]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
gycb
PetroNotC Sharp,
в хероку написано 1 дейли бекап во фрии
автор зачем то лезет в майлаб и пытается смотреть их планы,вместо того чтобы смотреть планы,опубликованные на хероку

это называется колоборация-тоесть тебе партнер дает какую то фри фишечку ,если это используется на его площадке или по его ссылкам
я не думаю что от потери 50 центов в день майлаб разорится

ну и справедливости ради у меня на хероку уже 1.5 года крутится телеграм бот на MySql и ничего там не упало ни разу ,база цела и не вредима

а так да хероку очень удобная штука ,особенно для демонстрации своих проектов или же боевых тестов

Нет там возможности делать бекап силами хероку.

К сообщению приложен файл. Размер - 147Kb
30 дек 19, 17:07    [22051750]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1205
PetroNotC Sharp
Imperous,
автор
Как я умудрился за 1 день задолжать Amazon 12000$

https://habr.com/ru/post/357764/

Жуткая история. У меня был простький случай с google, они удачно решили списать 14$ с карты, в тот момент когда на карте было меньше 1$. Но то я был сам виноват, пытаясь поднять прилодение с определенными нюансами, понавключал сервисов, в итоге не вышло и я забил на него. Им в почте сказал чтоб все поотключали, и что мне ничего не надо.
30 дек 19, 18:11    [22051837]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
mayton
Member

Откуда: loopback
Сообщений: 45469
Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил.
Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны.
30 дек 19, 18:20    [22051852]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Java Ответить