Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8775
mayton
Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил.
Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны.

Странно как-то

Там же настройка на амазоне есть. Лимит трат в месяц. Мне даже при __бесплатном__ сервере, уведомление на почту приходили ))) Вы потратили 8 из 10 $ бесплатных.
30 дек 19, 18:24    [22051858]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
mayton
Member

Откуда: loopback
Сообщений: 47989
Да нет. У меня уже давно платный аккаут. Но пока основные расходы это S3.
30 дек 19, 18:28    [22051863]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
gycb
Imperous,не ругайся,скоро Новый Год ,а ты такой злой.На тебя никто не налетал если что
вот адон - на фри тарифе дейли бекап ,можно и кастомы делать
https://elements.heroku.com/addons/mongolab

Только сейчас заметил.
Я не ругаюсь, я за добро :)
Именно этот аддон и использую. Но это уже и так ясно.
30 дек 19, 18:33    [22051869]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
PetroNotC Sharp
Imperous,
Виртуалка бесплатная? С осью линукс?

Все так.
30 дек 19, 18:35    [22051877]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
забыл ник
Member

Откуда:
Сообщений: 3370
mayton
Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил.
Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны.

А я буквально полгода назад понадеялся на скрипт от индусов по шатдауну емр... Запустил и не проверил. За выходные 3 штуки накапало. Хорошо что заказчику это капля в море, но осадок остался..
30 дек 19, 22:12    [22052007]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 5388
Imperous
PetroNotC Sharp
Imperous,
Виртуалка бесплатная? С осью линукс?

Все так.

Ссылку дай.
Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц.
31 дек 19, 12:11    [22052160]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
PetroNotC Sharp,

Вот.

К сообщению приложен файл. Размер - 148Kb
31 дек 19, 18:03    [22052399]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
PetroNotC Sharp
Imperous
пропущено...

Все так.

Ссылку дай.
Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц.

Может у тебя какие-то особые условия. Я когда запускал, в августе вроде, даже не помню как было, скорей всего где-то выбрал free,и использовал ec2 и s3.
Настроил, в крон добавл чтоб при старте системы все поднималось, запустил приложение и забыл, а оно вон работает. Правда не настаивал днс и всего такого. Цель была узнать новое и поиграться по на хероку закончились бесплатные Дино часы.

К сообщению приложен файл. Размер - 137Kb
31 дек 19, 18:09    [22052403]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
mayton
Member

Откуда: loopback
Сообщений: 47989
Отгремят Новогодние... я ветку подниму по оптимизации S3.

Мы там уже в технологический потолок упёрлись. То что амазон предлагает по оптимизации -
мы всё применили. Но ожидаемой скорости реквестов в секунду не достигаем.
Ни по бакету. Ни по префиксу. На приложении - сложно тестировать. Оно просто
очень сложно в своей логике и мультипоточке. Будем скорее всего просто собирать
макет и смотреть на нём.

Сообщение было отредактировано: 31 дек 19, 18:21
31 дек 19, 18:20    [22052405]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 5388
Imperous
Может у тебя какие-то особые условия.

У меня не амазон, а свой хостинг с полностью рутовой осью линукс.
Поэтому счел странной твою цель выше примонтировать
автор
2) установить google-drive-ocamlfuse

У тебя задача мелкая - инкрементальный бэкап только БД.
А тут монтирование ВСЕЙ файловой системы.
31 дек 19, 18:43    [22052414]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
Сделал, как и рассказывал.

PetroNotC Sharp
Imperous
Может у тебя какие-то особые условия.

У меня не амазон, а свой хостинг с полностью рутовой осью линукс.
Поэтому счел странной твою цель выше примонтировать
автор
2) установить google-drive-ocamlfuse

У тебя задача мелкая - инкрементальный бэкап только БД.
А тут монтирование ВСЕЙ файловой системы.


Буду рад услышать про более простые варианты.
3 янв 20, 16:03    [22053132]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 5388
Imperous
Буду рад услышать про более простые варианты.

Например:
- в облаке А вывесить админское API для архивирования. REST\TCP\FTP
- на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически.
Безопасность лучше, так как всё свое и не надо присоединять файловые системы.
3 янв 20, 18:34    [22053166]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
PetroNotC Sharp
Imperous
Буду рад услышать про более простые варианты.

Например:
- в облаке А вывесить админское API для архивирования. REST\TCP\FTP
- на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически.
Безопасность лучше, так как всё свое и не надо присоединять файловые системы.


Предполагаю, что за бесплатно это не получится, по крайней мере на хостинге B. По сути в этой схеме облако А и не нужно, так как крон чётко работает.

В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами.
4 янв 20, 06:39    [22053309]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 5388
ТС, бесплатно не получится это как?
Что означает?
Учитывая что мы на ветке программистов)))) LOL
Может трудоёмко?
Тоже непонятно. У меня сейчас хостинг с линуксом. Я там в томкате или jar пишу
File file = твоеОблако.getBackup()
Трудоемко?
4 янв 20, 08:47    [22053315]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 5388
Imperous
В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами.

Все эти операции где? На облаке А?
Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно.
Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается.

Сообщение было отредактировано: 4 янв 20, 08:56
4 янв 20, 08:54    [22053316]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
PetroNotC Sharp
Imperous
В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами.

Все эти операции где? На облаке А?
Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно.
Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается.


Ок. Вот что получилось.
1. Heroku — облачная PaaS-платформа, на ней настроен деплой приложения, который срабатывает по коммиту на github. Полного доступа к системе нет, есть CLI, который очень ограничен.
2. mLab MongoDB с пакетом Sandbox - аддон для Heroku, который предоставляет базу MongoDB. Бекап за деньги.
3. AWS - коммерческое публичное облако. Здесь, на EC2 была поднята ubuntu 18.04. На ubuntu:
- установлен zip/unzip.
- установлен google-drive-ocamlfuse.
- установлены драйвера MongoDB.
- создан скрипт, который:
а) делает бекап базы
б) создает архив бекапа
в) подключает гуглдиск
г) копирует архив в специально созданную для него папку
д) отключает гуглдиск
е) удаляет бекап и архив
- в cron создано задание, которое запускает скрипт каждые 8 часов.

Абсолютно все бесплатно.

Изначально я пытался узнать тут, можно ли с помощью только heroku проделать все манипуляции, которые пришлось делать на aws. Почитал доки, но не увидел там такого решения.
Были мысли сделать еще интересней - через spring-овый шедулер делать бекап базы, складывать бекап рядом с приложением, зиповать, и копировать на гугдиск. Идея для развлечения мне очень понравилась, но как выяснилось, для mongodb не придумали java библиотек (или я не нашел) которые позволяют делать бекапы (для mysql есть такое). На этом идея была зарублена. Опять же, если бы можно было на heroku управлять линуксом в полной мере, было бы замечательно.

Сообщение было отредактировано: 4 янв 20, 16:17
4 янв 20, 16:13    [22053409]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
Продолжение истории.

Все чудесно работало... до тех пор, пока мой телефон не сообщил мне о неуспешном снятии денег с карты компанией AWS. Да-да, я сразу же вспомнил статью из хабра )) На этом месте я остановил все сервисы которые у меня работали, некоторые даже удалил. Ничего важно там не было.
Все оказалось не столь печально как в статье. Снять хотели примерно 25$. А я деньги не карте держать не люблю. Было около 10 писем выяснений "за что, когда все бесплатно?" (суммарно, туда и обратно), но в итоге нашелся косяк, в виде второго созданного экземпляра EC2. И как в назло, он был запущен. Видимо я когда игрался наиграл лишнего. С помощью саппорта AWS все удалил.
Ребята из саппорта просто молодчаги, с терпением, с детальными разъяснениями. На мой вопрос в 2 две строчки я получал письма на 50 строк.
Платеж таки отменили. И посоветовали заняться снова спустя месяц.

Времени катастрофически не было. Но мысли о бэкапе, время от времени посещали.
Гуглинг и пробы показали что таки обычный драйвер MongoDB вполне способен делать то что мне нужно - выгружать все коллекции в файлы в правильном формате (там есть нюансы). Это меня обрадовало, потому что дало пищу для чего-то нового и полезного. Пока обошелся обычным json. В перспективе вероятно сделаю на bson, одним глазом видел, но не вникал.
<dependency>
  <groupId>org.mongodb</groupId>
  <artifactId>mongo-java-driver</artifactId>
  <version>3.12.1</version>
</dependency>


Итого - в приложение добавлен Sheduler, который выполняет:
1) коллекции выгружаются в директорию
2) архивирование этой директории в zip-архив
3) копирование архива на гуглдиск в его родную папку
4) удаление следов бекапа.

Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать...

Сообщение было отредактировано: 16 фев 20, 13:09
16 фев 20, 13:09    [22080711]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 27753
Imperous,

mongodump чем вам не угодил?
16 фев 20, 13:44    [22080719]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
skyANA
Imperous,

mongodump чем вам не угодил?


тем что на Heroku нельзя устанавливать левые приложения.
16 фев 20, 14:09    [22080724]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 27753
Imperous
skyANA
Imperous,

mongodump чем вам не угодил?


тем что на Heroku нельзя устанавливать левые приложения.

Когда это официальный пакет утилит стал левым?

https://docs.mongodb.com/manual/reference/program/mongodump/
16 фев 20, 14:19    [22080726]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
skyANA
Imperous
пропущено...


тем что на Heroku нельзя устанавливать левые приложения.

Когда это официальный пакет утилит стал левым?

https://docs.mongodb.com/manual/reference/program/mongodump/


Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.
16 фев 20, 18:43    [22080798]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 5388
Imperous
Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.

Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками.

Imperous
Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать...
ниче не понял. Чей токен и что защищает?
Если гугл карта, то там бессрочный ключик. Берем его из админки гугла.
17 фев 20, 07:42    [22080957]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1207
PetroNotC Sharp
Imperous
Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.

Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками.

Imperous
Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать...
ниче не понял. Чей токен и что защищает?
Если гугл карта, то там бессрочный ключик. Берем его из админки гугла.


Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест.
Какая нафиг гуглокарта если речь идёт о гуглодиске???
17 фев 20, 08:51    [22080972]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 5388
Imperous
Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест.

У тебя оперативная память слабая.
Если я фантазер.
22053166
17 фев 20, 10:21    [22081030]     Ответить | Цитировать Сообщить модератору
 Re: Heroku+MongoDB, нужен автоматический бэкап  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 27753
Imperous
skyANA
пропущено...

Когда это официальный пакет утилит стал левым?

https://docs.mongodb.com/manual/reference/program/mongodump/


Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.

То есть написать и использовать свой велосипед есть возможность, а mongodump нет.
Мягко говоря - удивительно.
17 фев 20, 10:21    [22081032]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Java Ответить