| Добро пожаловать в форум, Guest >> Войти | Регистрация | Поиск | Правила | | В избранное | Подписаться | ||
| Все форумы / Microsoft SQL Server |
  |
||
 Расчеты в SQL Azure.
|
|
|
.Anatoly. Member Откуда: Екатеринбург Сообщений: 310 |
Одна из основных задач, которая стоит перед моим подразделением это проводить расчеты на базе данных из SQL Server. Сами расчеты и их результаты так же проводятся/оказываются в SQL Server. В связи с ростом данных в пиковые периоды(несколько месяцев весной и осенью) очередь данных для расчетов наполняется быстрее, чем сервер может произвести расчеты. Поэтому у меня появилась идея попробовать прикрутить SQL Azure. Чтобы часть данных для расчетов передавать туда. В такой ситуации мне кажется будет логично использовать систему основанную на очереди и на нескольких подписчиках к этой очереди. Которые будут 1)брать задания на расчет из очереди на главном(нашем сервере) 2) рассчитывать(у себя) 3)возвращать результат(на наш сервер) Встают вопросы 1)Для передачи данных, на основании которых будут производиться расчеты, планирую использовать Data Sync. Как проверить, что прошла синхронизация данных между главной базой и инстансам Azure на котором будет происходить расчет с того момента как задача была поставлена в очередь. 2)Как понять, что инстанс Azure отпал/умер/удален/кончились деньги? Только по таймауту? 3)Удобно ли это будет реализовывать на базе Service Broker(технология для меня новая)? Или достаточно просто таблицы? Буду рад, если кто-то поделиться своим опытом по решению подобных задач. |
| 19 янв 13, 09:42 [13795595] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|
|
Ken@t Member Откуда: 大地 Сообщений: 3265 |
А руководство в курсе, что вы данные за периметр организации выкладываете , ещё за это и платите ? |
| 19 янв 13, 12:59 [13795862] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|
|
.Anatoly. Member Откуда: Екатеринбург Сообщений: 310 |
Ken@t, не будут выкладываться все данные. Особенно это касается ПД или полей справочников, которые несут смысловую нагрузку. А выложить во вне информацию о том что объект c id=5 как-то связан с объектом с id=7894 никто не мешает. И серьезной угрозы для бизнеса это не представляет. С другой стороны, конечно, есть возможность не мучить Azure, а купить еще один сервер на него поставить SQL Server EE, а так же прикупить хорошую СХД. Вот только затраты на это будут значительно выше. |
| 19 янв 13, 13:42 [13795989] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|
|
Crimean Member Откуда: Сообщений: 13147 |
1.а при чем тут SQL? ;) 2.облако (по написанному) заманчиво только как возможность масштабирования расчетного модуля. в свете этого - ваш расчетный модуль "готов" для переноса в облако? 3.если хранение данных останется "локально" - вы оценивали трафик миежду вашим локальным "хранением" и "расчетом" в облаке? оно вообще не убъет все на корню? 4.собственно сиквел в облаке - да - есть, но для него уж очень много ограничений и он не совсем "облачный" в широком смысле этого слова p.s. сервис брокер - еще одна система управления очередями со всеми присущими абстрактным системам "+" и "-" с точки зрения применимости к вашей конкретной реализации |
| 19 янв 13, 13:54 [13796041] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|||
|
alexeyvg Member Откуда: Moscow Сообщений: 32174 |
Azure выгодно использовать когда нагрузка незначительная (не набирается на свой сервер, даже на виртуальный), или когда нагрузка сильно скачет. Плюс, как уже заметили, трафик стоит денег, так что SQL Azure выгодно применять с Windows Azure, когда трафик между ними остаётся внутри облака. |
||
| 19 янв 13, 21:40 [13797216] Ответить | Цитировать Сообщить модератору | |||
| Re: Расчеты в SQL Azure.
|
|
|
.Anatoly. Member Откуда: Екатеринбург Сообщений: 310 |
alexeyvg, если железо и лицензии покупать самостоятельно, то все деньги нужно заплатить сразу. Azure в конечно итоге может потребовать больше, но эти деньги нужно будет платить постепенно. Плюс ко всему, пики нагрузки наблюдаются дважды в год весной и осенью. Объем трафика оцениваю как in/out 10/50ГБ в месяц. Тема выгодности и целесообразности использования Azure тоже важна и интересна, но мы ушли от темы подводных камней в работе такой системы. |
| 20 янв 13, 09:55 [13797928] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|
|
Crimean Member Откуда: Сообщений: 13147 |
и еще раз. данные остаются у вас или уходят в облако? если уходят - читайте про ограничения облачного сиквела. они более чем существенны. если остаются у вас - вы вообще "протолкнете" необходимые для расчета данные "туда" и результаты "обратно"? |
| 20 янв 13, 13:49 [13798208] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|||||||
|
alexeyvg Member Откуда: Moscow Сообщений: 32174 |
Ваши вопросы в общем не относятся именно к Azure. Допустим:
Вопросы 1 и 2 слишком общие. Вы спрашиваете - видел название технологии "ХХХ", можно ли её использовать. Ну в принципе раз технология есть, то почему бы и не использовать? А вот является ли она самой оптимальной именно для вашей задачи, сразу трудно сказать... |
||||||
| 20 янв 13, 14:01 [13798237] Ответить | Цитировать Сообщить модератору | |||||||
| Re: Расчеты в SQL Azure.
|
|
|
.Anatoly. Member Откуда: Екатеринбург Сообщений: 310 |
SQL Azure не поддерживает Service Broker, так что буду работать без него. Жалко, что облако так же не поддерживает AQL Agent'a. |
| 21 янв 13, 15:20 [13803581] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|
|
Crimean Member Откуда: Сообщений: 13147 |
.Anatoly., и это вы еще на самый главный вопрос не ответили. где будут исходные данные для расчетов |
| 21 янв 13, 16:25 [13804339] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|||
|
alexeyvg Member Откуда: Moscow Сообщений: 32174 |
|
||
| 21 янв 13, 16:34 [13804403] Ответить | Цитировать Сообщить модератору | |||
| Re: Расчеты в SQL Azure.
|
|
|
.Anatoly. Member Откуда: Екатеринбург Сообщений: 310 |
Crimean, исходные данные на локальном сервере. Затем они будут передаваться в облако, там будет происходить несколько этапов расчетов, затем результаты будут передаваться обратно. |
| 22 янв 13, 08:20 [13806805] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|||
|
Ken@t Member Откуда: 大地 Сообщений: 3265 |
И зачем здесь облачные вычисления , модное слово? Поставьте машину заточенную для расчёта ибо это дешевле окажется , чем платить за процессоры , хранилища и траффик в облаке. |
||
| 22 янв 13, 09:34 [13807029] Ответить | Цитировать Сообщить модератору | |||
| Re: Расчеты в SQL Azure.
|
|
|
Crimean Member Откуда: Сообщений: 13147 |
сдается мне, тут какая-то мегахитрая задача, где чуть-чуть исходных данных, чуть-чуть результатов и мега-расчеты в противном случае схема не имеем смысла |
| 22 янв 13, 12:44 [13808414] Ответить | Цитировать Сообщить модератору | |
| Re: Расчеты в SQL Azure.
|
|||
|
alexeyvg Member Откуда: Moscow Сообщений: 32174 |
Всё таки РСУБД больше всего подходят, когда много данных... |
||
| 22 янв 13, 15:42 [13810253] Ответить | Цитировать Сообщить модератору | |||
| Re: Расчеты в SQL Azure.
|
|
|
Crimean Member Откуда: Сообщений: 13147 |
alexeyvg, так в облаке собственно сиквел как сервис нифига не "азурится". но автор утверждает что ему для расчетов надо совсем чуть-чуть на вход и совсем чуть-чуть будет на выходе. и он будет поднимать расчетную ферму и городить свой диспетчер расчетов |
| 22 янв 13, 16:26 [13810681] Ответить | Цитировать Сообщить модератору | |
| Все форумы / Microsoft SQL Server | |
|
x