Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Расчеты в SQL Azure.  [new]
.Anatoly.
Member

Откуда: Екатеринбург
Сообщений: 310
Одна из основных задач, которая стоит перед моим подразделением это проводить расчеты на базе данных из SQL Server. Сами расчеты и их результаты так же проводятся/оказываются в SQL Server. В связи с ростом данных в пиковые периоды(несколько месяцев весной и осенью) очередь данных для расчетов наполняется быстрее, чем сервер может произвести расчеты.
Поэтому у меня появилась идея попробовать прикрутить SQL Azure. Чтобы часть данных для расчетов передавать туда. В такой ситуации мне кажется будет логично использовать систему основанную на очереди и на нескольких подписчиках к этой очереди. Которые будут
1)брать задания на расчет из очереди на главном(нашем сервере)
2) рассчитывать(у себя)
3)возвращать результат(на наш сервер)

Встают вопросы
1)Для передачи данных, на основании которых будут производиться расчеты, планирую использовать Data Sync. Как проверить, что прошла синхронизация данных между главной базой и инстансам Azure на котором будет происходить расчет с того момента как задача была поставлена в очередь.
2)Как понять, что инстанс Azure отпал/умер/удален/кончились деньги? Только по таймауту?
3)Удобно ли это будет реализовывать на базе Service Broker(технология для меня новая)? Или достаточно просто таблицы?

Буду рад, если кто-то поделиться своим опытом по решению подобных задач.
19 янв 13, 09:42    [13795595]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
Ken@t
Member

Откуда: 大地
Сообщений: 3265
А руководство в курсе, что вы данные за периметр организации выкладываете , ещё за это и платите ?
19 янв 13, 12:59    [13795862]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
.Anatoly.
Member

Откуда: Екатеринбург
Сообщений: 310
Ken@t, не будут выкладываться все данные. Особенно это касается ПД или полей справочников, которые несут смысловую нагрузку.
А выложить во вне информацию о том что объект c id=5 как-то связан с объектом с id=7894 никто не мешает. И серьезной угрозы для бизнеса это не представляет. С другой стороны, конечно, есть возможность не мучить Azure, а купить еще один сервер на него поставить SQL Server EE, а так же прикупить хорошую СХД. Вот только затраты на это будут значительно выше.
19 янв 13, 13:42    [13795989]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
Crimean
Member

Откуда:
Сообщений: 13147
1.а при чем тут SQL? ;)
2.облако (по написанному) заманчиво только как возможность масштабирования расчетного модуля. в свете этого - ваш расчетный модуль "готов" для переноса в облако?
3.если хранение данных останется "локально" - вы оценивали трафик миежду вашим локальным "хранением" и "расчетом" в облаке? оно вообще не убъет все на корню?
4.собственно сиквел в облаке - да - есть, но для него уж очень много ограничений и он не совсем "облачный" в широком смысле этого слова
p.s.
сервис брокер - еще одна система управления очередями со всеми присущими абстрактным системам "+" и "-" с точки зрения применимости к вашей конкретной реализации
19 янв 13, 13:54    [13796041]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
.Anatoly.
С другой стороны, конечно, есть возможность не мучить Azure, а купить еще один сервер на него поставить SQL Server EE, а так же прикупить хорошую СХД. Вот только затраты на это будут значительно выше.
С чего это меньше? Хостеру SQL Server EE и хорошую СХД дали бесплатно? :-) Он с вас возьмёт те же деньги, и ещё плюс маржа.

Azure выгодно использовать когда нагрузка незначительная (не набирается на свой сервер, даже на виртуальный), или когда нагрузка сильно скачет.

Плюс, как уже заметили, трафик стоит денег, так что SQL Azure выгодно применять с Windows Azure, когда трафик между ними остаётся внутри облака.
19 янв 13, 21:40    [13797216]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
.Anatoly.
Member

Откуда: Екатеринбург
Сообщений: 310
alexeyvg, если железо и лицензии покупать самостоятельно, то все деньги нужно заплатить сразу. Azure в конечно итоге может потребовать больше, но эти деньги нужно будет платить постепенно. Плюс ко всему, пики нагрузки наблюдаются дважды в год весной и осенью. Объем трафика оцениваю как in/out 10/50ГБ в месяц.

Тема выгодности и целесообразности использования Azure тоже важна и интересна, но мы ушли от темы подводных камней в работе такой системы.
20 янв 13, 09:55    [13797928]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
Crimean
Member

Откуда:
Сообщений: 13147
и еще раз. данные остаются у вас или уходят в облако? если уходят - читайте про ограничения облачного сиквела. они более чем существенны. если остаются у вас - вы вообще "протолкнете" необходимые для расчета данные "туда" и результаты "обратно"?
20 янв 13, 13:49    [13798208]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
.Anatoly.
alexeyvg, если железо и лицензии покупать самостоятельно, то все деньги нужно заплатить сразу. Azure в конечно итоге может потребовать больше, но эти деньги нужно будет платить постепенно. Плюс ко всему, пики нагрузки наблюдаются дважды в год весной и осенью.
Ну да, эти доводы вполне разумные, согласен.
.Anatoly.
но мы ушли от темы подводных камней в работе такой системы.
Да в общем подводные камни такие же, как и при использовании обычного сиквела.

Ваши вопросы в общем не относятся именно к Azure. Допустим:
.Anatoly.
2)Как понять, что инстанс Azure отпал/умер/удален/кончились деньги? Только по таймауту?
По возвращаемой ошибке (таймаут может быть при большой загрузке или при блокировках, а если кончились деньги, то будет другая ошибка)

Вопросы 1 и 2 слишком общие. Вы спрашиваете - видел название технологии "ХХХ", можно ли её использовать.
Ну в принципе раз технология есть, то почему бы и не использовать? А вот является ли она самой оптимальной именно для вашей задачи, сразу трудно сказать...
20 янв 13, 14:01    [13798237]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
.Anatoly.
Member

Откуда: Екатеринбург
Сообщений: 310
SQL Azure не поддерживает Service Broker, так что буду работать без него. Жалко, что облако так же не поддерживает AQL Agent'a.
21 янв 13, 15:20    [13803581]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
Crimean
Member

Откуда:
Сообщений: 13147
.Anatoly.,

и это вы еще на самый главный вопрос не ответили. где будут исходные данные для расчетов
21 янв 13, 16:25    [13804339]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
.Anatoly.
SQL Azure не поддерживает Service Broker, так что буду работать без него. Жалко, что облако так же не поддерживает AQL Agent'a.
Это как раз неважно, у вас же есть локальный сервер, можно использовать его агент.
21 янв 13, 16:34    [13804403]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
.Anatoly.
Member

Откуда: Екатеринбург
Сообщений: 310
Crimean, исходные данные на локальном сервере. Затем они будут передаваться в облако, там будет происходить несколько этапов расчетов, затем результаты будут передаваться обратно.
22 янв 13, 08:20    [13806805]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
Ken@t
Member

Откуда: 大地
Сообщений: 3265
.Anatoly.
Crimean, исходные данные на локальном сервере. Затем они будут передаваться в облако, там будет происходить несколько этапов расчетов, затем результаты будут передаваться обратно.

И зачем здесь облачные вычисления , модное слово? Поставьте машину заточенную для расчёта ибо это дешевле окажется , чем платить за процессоры , хранилища и траффик в облаке.
22 янв 13, 09:34    [13807029]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
Crimean
Member

Откуда:
Сообщений: 13147
сдается мне, тут какая-то мегахитрая задача, где чуть-чуть исходных данных, чуть-чуть результатов и мега-расчеты
в противном случае схема не имеем смысла
22 янв 13, 12:44    [13808414]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
Crimean
сдается мне, тут какая-то мегахитрая задача, где чуть-чуть исходных данных, чуть-чуть результатов и мега-расчеты
в противном случае схема не имеем смысла
В таком случае и считать лучше без SQL Server :-)

Всё таки РСУБД больше всего подходят, когда много данных...
22 янв 13, 15:42    [13810253]     Ответить | Цитировать Сообщить модератору
 Re: Расчеты в SQL Azure.  [new]
Crimean
Member

Откуда:
Сообщений: 13147
alexeyvg,

так в облаке собственно сиквел как сервис нифига не "азурится". но автор утверждает что ему для расчетов надо совсем чуть-чуть на вход и совсем чуть-чуть будет на выходе. и он будет поднимать расчетную ферму и городить свой диспетчер расчетов с блекджеком с администрированием и контролем коллизий. и что у него локальных мощностей нифига нету и он будет покупать расчетные мощности в облаке. имеет смысл при похожей постановке, вообще-то. только вот автору нужно будет переписать свое решение чуть менее чем полностью + дописать тот самый диспетчер
22 янв 13, 16:26    [13810681]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить