Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Azure SQL Data Warehouse - Create Table ... Distribution = Replicate vs Round_Robin ?  [new]
vikkiv
Member

Откуда: London
Сообщений: 2697
Есть Azure SQL Data Warehouse (обслуживаемый не нами),
сегодня в очередной раз копался в структурах - измерения (Dim_...)
некоторые в режиме Replicate, некоторые в Round_Robin
по количеству строк кореляции режима Distribution не заметил,

Отсюда вопрос: на основании чего может приниматься решение о приоритете
между Distribution = Replicate и Distribution = Round_Robin (Hash не видел, поэтому пока не вопрос)

Просто рано или поздно придётся у них спрашивать - не хотелось-бы попасть в неловкую ситуацию...

По идее я-бы все мелкие сделал Replicate , есть тяжелые измерения по десятку миллионов записей - там в принципе имеет смысл разносить по нодам.
31 янв 19, 23:42    [21799225]     Ответить | Цитировать Сообщить модератору
 Re: Azure SQL Data Warehouse - Create Table ... Distribution = Replicate vs Round_Robin ?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31331
vikkiv
По идее я-бы все мелкие сделал Replicate , есть тяжелые измерения по десятку миллионов записей - там в принципе имеет смысл разносить по нодам.
Ну да, небольшой объём, и редкие изменения - делаем везде копии, чтоб выполнялось локально, где бы не были нужны эти данные, если данные большие, то распределяем.

Что нет хэша, странно, видимо, не нашлось, по чему распределять? Ведь хэш вроде лучше.
1 фев 19, 00:08    [21799230]     Ответить | Цитировать Сообщить модератору
 Re: Azure SQL Data Warehouse - Create Table ... Distribution = Replicate vs Round_Robin ?  [new]
vikkiv
Member

Откуда: London
Сообщений: 2697
alexeyvg
...и редкие изменения...
если-бы, они из ADLS / Azure Data Lake Storage тянут Master-данные каждый раз по новой не заморачиваясь
alexeyvg
Что нет хэша, странно, видимо, не нашлось, по чему распределять? Ведь хэш вроде лучше.
немного другой Hash - это третья опция для Distribution = ...
1 фев 19, 00:56    [21799237]     Ответить | Цитировать Сообщить модератору
 Re: Azure SQL Data Warehouse - Create Table ... Distribution = Replicate vs Round_Robin ?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31331
vikkiv
alexeyvg
Что нет хэша, странно, видимо, не нашлось, по чему распределять? Ведь хэш вроде лучше.
немного другой Hash - это третья опция для Distribution = ...
Да, я понимаю, но хэш же строится по колонке. Соответственно, нужно, что бы было либо достаточно много уникальных значений в этой колонке, либо мало, но с равномерным распределением количества записей.
Обычно это не проблема, но могут же быть исключения...
Вот, например, рекомендации от Kent Sharkey, вроде авторитетный чел.
1 фев 19, 11:27    [21799442]     Ответить | Цитировать Сообщить модератору
 Re: Azure SQL Data Warehouse - Create Table ... Distribution = Replicate vs Round_Robin ?  [new]
vikkiv
Member

Откуда: London
Сообщений: 2697
alexeyvg,

Разобрался, у них это только на деве "бардак" (в кавычках т.к. размеры образцов такие), в QA всё нормально настроено.
недавно где-то на youtube презентацию MS смотрел по их Azure DWH - утверждают что на новом поколении практически минимизировали ненужный Data Movement
2 фев 19, 02:23    [21800272]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить