Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Скажите Господа,
если прокачивать огромный запрос через Linked Server (300+ млн строк) и 15 колонок в основном числа (SQL SERVER 2012 -> SQL SERVER 2012). Blob-ов не ожидается. Можно но ожидать, что он будет работать стабильно? На стороне получателя он будет обернут вьюхой и после некоторых преобразования полей (CAST и т.п.) будет проаггрегирован (в кубе). Вопрос в том, будет ли стабилен такой межсервенный скан (в одном датацентре).
1 июл 14, 16:42    [16244815]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 8839
Что означает "стабильно"?
1 июл 14, 16:52    [16244888]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
300 лямов во вью ? Такой обьем даже на одном сервере для ДВХ неслабо... не говоря уже о накладках в виде сети и всего сопутвующего линкед северу.
Если под куб ..то яб перетягивал бы данные, агрегировал,скармливал кубу и то подумал бы о разбиении межегрупы на партиции....хотя одному вам известо сколько останеться для куба из ваших 300+лямов.
1 июл 14, 16:54    [16244907]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Maxx
300 лямов во вью ? Такой обьем даже на одном сервере для ДВХ неслабо... не говоря уже о накладках в виде сети и всего сопутвующего линкед северу.
Если под куб ..то яб перетягивал бы данные, агрегировал,скармливал кубу и то подумал бы о разбиении межегрупы на партиции....хотя одному вам известо сколько останеться для куба из ваших 300+лямов.


Это таблица фактов, на которой будут партиции. Ситуация такая, что она уже подготовлена и обрабатывается другим ETL на другом сервере. Её перекачка может быть накладной. Предварительно аггрегировать её не планируется. Сразу в куб.
1 июл 14, 17:00    [16244947]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Владислав Колосов
Что означает "стабильно"?


Значит, что при полном скане доживет до конца, а не свалиться
1 июл 14, 17:02    [16244958]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Кот Матроскин
Member

Откуда: Москва
Сообщений: 8933
a_voronin
Её перекачка может быть накладной.


Ээ, а запросом через Linked server она перекачиваться не будет?
1 июл 14, 17:08    [16244998]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Кот Матроскин
a_voronin
Её перекачка может быть накладной.


Ээ, а запросом через Linked server она перекачиваться не будет?


Есть два варианта. Либо качать частями и складывать на другой сервер --, где ETL для кубов, либо вообще не перекачивать, а селектить прямо из куба через Linked Server
1 июл 14, 17:11    [16245020]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Кот Матроскин
Member

Откуда: Москва
Сообщений: 8933
a_voronin
Кот Матроскин
пропущено...


Ээ, а запросом через Linked server она перекачиваться не будет?


Есть два варианта. Либо качать частями и складывать на другой сервер --, где ETL для кубов, либо вообще не перекачивать, а селектить прямо из куба через Linked Server

При select-е через Linked Server данные перекачиваться не будут, сразу по волшебству образуются на сервере-приемнике?
1 июл 14, 17:13    [16245033]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
a_voronin
а селектить прямо из куба через Linked Server

tempdb будет "греться"
Перелейте через bcp и грузите кубы (девелопмента чуть больше, накладных расходов и "нежданчиков" меньше)
1 июл 14, 17:49    [16245215]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 8839
a_voronin
Владислав Колосов
Что означает "стабильно"?


Значит, что при полном скане доживет до конца, а не свалиться

Доживет, если сеть не подведет, но это нерациональный способ, т.к. выборка сначала попадет в tempdb. Долго будет, возможно несколько часов.
1 июл 14, 17:58    [16245278]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35398
Блог
a_voronin
либо вообще не перекачивать, а селектить прямо из куба через Linked Server


так
1 июл 14, 22:09    [16245948]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
NickAlex66
Member

Откуда:
Сообщений: 319
a_voronin,

Не валяйте дурака, настройте, например, доставку журналов на второй сервер и делайте там чего хотите. А первый не грузите не нужными (не свойственными ему) запросами.
1 июл 14, 22:11    [16245955]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
NickAlex66
a_voronin,

Не валяйте дурака, настройте, например, доставку журналов на второй сервер и делайте там чего хотите. А первый не грузите не нужными (не свойственными ему) запросами.


Log Shipping? Да уж Merge Replication куда не шло. Весь вопрос в том, что это два ХД сервака и самое оптимальное ничего не перекачивать.
2 июл 14, 14:05    [16248998]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
К тому в Хранилищах обычно выставляют Recovery Model Simple, что и сделано в данном случае на обоих серверах.
2 июл 14, 14:06    [16249018]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Glory
Member

Откуда:
Сообщений: 104751
a_voronin
и самое оптимальное ничего не перекачивать.

И поэтому никто не додумался сделать кубу коннект прямо ко второму серверу ?
2 июл 14, 14:07    [16249030]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Glory
a_voronin
и самое оптимальное ничего не перекачивать.

И поэтому никто не додумался сделать кубу коннект прямо ко второму серверу ?


Естественно додумались. Но проблема в том, что факты в одной базе, а измерения, которые используются и в других кубах, он в другой базе. Плюс есть и другие факты из второй базы. А вот два Data Sourve View для одного куба создают проблемы.
2 июл 14, 14:14    [16249125]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Glory
Member

Откуда:
Сообщений: 104751
a_voronin
Но проблема в том, что факты в одной базе, а измерения, которые используются и в других кубах, он в другой базе.

И что ?

a_voronin
А вот два Data Sourve View для одного куба создают проблемы.

Кому создают ?
2 июл 14, 14:15    [16249144]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Glory
a_voronin
Но проблема в том, что факты в одной базе, а измерения, которые используются и в других кубах, он в другой базе.

И что ?

a_voronin
А вот два Data Sourve View для одного куба создают проблемы.

Кому создают ?


Glory, чтобы продолжить осмысленную дискуссию по поводу двух DSV, откройте OLAP проект.

Заведите два DSV, положите факты в один, а измерение в другой. И попробуйте собрать куб. Тогда вам все станет ясно.

Когда данные в разных базах на одном сервере, мы просто маппим их через вьюхи в одну базу. Вопрос в том, что делать, если базы на разных серваках.

Ладно, я все равно решил перекачивать.
2 июл 14, 14:19    [16249180]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Glory
Member

Откуда:
Сообщений: 104751
a_voronin
Тогда вам все станет ясно.

Мне пока ясно, что вам наверное надо обратиться в форум по ОЛАП с вопросом, как правильно строить кубы из многих источников.
2 июл 14, 14:22    [16249219]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Glory
a_voronin
Тогда вам все станет ясно.

Мне пока ясно, что вам наверное надо обратиться в форум по ОЛАП с вопросом, как правильно строить кубы из многих источников.


Glory, я прекрасно знаю нюансы этого вопроса. Просто надо собрать все вьюхи в одной БД. Изначальный вопрос был про то, какой overhead добавит Linked Server.

Кстати, куб собрать можно c двумя DSV, но придется делать не через UI, а руками карячить сырой XMLA.
2 июл 14, 14:26    [16249263]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35398
Блог
a_voronin,

не понимаю, что вам мешает указать в секции нужный источник, будь то DSV или просто Data Source?
2 июл 14, 15:07    [16249728]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Критик
a_voronin,

не понимаю, что вам мешает указать в секции нужный источник, будь то DSV или просто Data Source?


И как это сделать? DataSourceView (другой коннекшн) есть у куба и измерения, но не у секции. Если у вас есть сакральные знания поделитесь. Я не могу нагуглить такого решения.

http://stackoverflow.com/questions/22036694/ssas-cube-with-multiple-db -- ребята как и я говорят про Linked Server и вьюху-обертку.

Разные DSV у куба и измерений приводят к тому, что измерение нельзя добавить в куб через UI. Но можно через сырой XMLA. А вот разные measureGroup на разные DSV я не представляю как.
2 июл 14, 15:33    [16250020]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35398
Блог
a_voronin
И как это сделать? DataSourceView (другой коннекшн) есть у куба и измерения, но не у секции. Если у вас есть сакральные знания поделитесь. Я не могу нагуглить такого решения.


Разве? см картинку мастера создания секции.
Да и если открыть секцию, то там тоже будет задание Data Source.

Вроде так можно, если мне память не изменяет:

1) Создать куб, где ТФ и измерения в одном источнике
2) Добавить второй источник данных
3) Создать секцию в кубе на этом втором источнике
4) Удалить секцию из первого источника

К сообщению приложен файл. Размер - 57Kb
2 июл 14, 16:55    [16250849]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Критик
3) Создать секцию в кубе на этом втором источнике


Я попробовал. Не вижу как выполнить этот пункт.
2 июл 14, 17:02    [16250938]     Ответить | Цитировать Сообщить модератору
 Re: Огромный запрос через Linked Server  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
a_voronin
Критик
3) Создать секцию в кубе на этом втором источнике


Я попробовал. Не вижу как выполнить этот пункт.


но можно выбрать другой источник данных в партиции, но не секции.
2 июл 14, 17:03    [16250945]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить