Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 ColumnStore + дохрена партиций  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4822
Собрался я тут новую таблицу сделать, c ColumnStore и партиционированием по дням.

За год в неё должно упасть под миллиард строк (колонок 12 шт Int, smallInt, decimal). Решили партиционировать по дням. В одной партиции сейчас 2.5-3 ляма строк.

Вопрос если партиций у таблицы наберётся под 1000 штук не начнёт она глючить. Какие вообще ограничения? Может кто делал такие большие кол-ва партиций. Были какие-то негативные последствия?
14 апр 15, 17:46    [17514366]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4822
a_voronin,

SQL 2014 конечно же
14 апр 15, 17:46    [17514367]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34992
Блог
a_voronin,

около 900 есть, все нормально
14 апр 15, 20:59    [17515133]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34992
Блог
правда без ColumnStore )
14 апр 15, 21:00    [17515134]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: ColumnStore + дохрена партиций  [new]
кириллk
Member

Откуда:
Сообщений: 1058
отмечусь.

хочу попробовать колумн стор

сжатие не интересует, надеюсь на увеличение скорости запросов
1 май 16, 00:35    [19126286]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34687
a_voronin
Собрался я тут новую таблицу сделать, c ColumnStore и партиционированием по дням.

За год в неё должно упасть под миллиард строк (колонок 12 шт Int, smallInt, decimal). Решили партиционировать по дням. В одной партиции сейчас 2.5-3 ляма строк.

Вопрос если партиций у таблицы наберётся под 1000 штук не начнёт она глючить. Какие вообще ограничения? Может кто делал такие большие кол-ва партиций. Были какие-то негативные последствия?



a_voronin,
в columnstore партиции не нужны, миллиард записей для него - копейки. я конечно не знаю особенностей MS в этом смысле, но все другие СУБД введут себя именно таким образом, так что подумай 10 раз прежде чем создавать партиции.
1 май 16, 07:42    [19126416]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
babona
Member [заблокирован]

Откуда: Батуринск
Сообщений: 1816
настоящий columnstore - как изначально столбцы-индексы, логическая совокупность которых представляет собой таблицу, это Sybase IQ существующий уже много-много лет.
А MS - это поделка вдогонку за лидером.
1 май 16, 10:22    [19126512]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
Glory
Member

Откуда:
Сообщений: 104751
кириллk
надеюсь на увеличение скорости запросов

Всех что ли ? Даже select * from mytable ?
1 май 16, 21:54    [19127448]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
кириллk
Member

Откуда:
Сообщений: 1058
Glory
кириллk
надеюсь на увеличение скорости запросов

Всех что ли ? Даже select * from mytable ?


нет. этот запрос будет сканировать всю таблицу, так же как и запрос вида

select
*
from [т1]
left join u1 on u1.id=[т1].id
where [т1].name<> u1.name


не стал делать из следующих ограничений

SQL Server 2012 only supports the creation of nonclustered columnstore indexes.
In SQL Server 2012 this will make your table read-only.

а постоянно дропать индекс как-то не круто
2 май 16, 13:56    [19128295]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
Glory
Member

Откуда:
Сообщений: 104751
кириллk
нет. этот запрос будет сканировать всю таблицу, так же как и запрос вида

И вы решили, что для select * вам обязательно поможет ColumnStore индекс ?
2 май 16, 13:59    [19128303]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
Glory
Member

Откуда:
Сообщений: 104751
кириллk
select
*
from [т1]
left join u1 on u1.id=[т1].id
where [т1].name<> u1.name

А этот запрос не должен разве просканировать всю таблицу [т1] ?
2 май 16, 14:00    [19128306]     Ответить | Цитировать Сообщить модератору
 Re: ColumnStore + дохрена партиций  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4822
MasterZiv
a_voronin
Собрался я тут новую таблицу сделать, c ColumnStore и партиционированием по дням.

За год в неё должно упасть под миллиард строк (колонок 12 шт Int, smallInt, decimal). Решили партиционировать по дням. В одной партиции сейчас 2.5-3 ляма строк.

Вопрос если партиций у таблицы наберётся под 1000 штук не начнёт она глючить. Какие вообще ограничения? Может кто делал такие большие кол-ва партиций. Были какие-то негативные последствия?



a_voronin,
в columnstore партиции не нужны, миллиард записей для него - копейки. я конечно не знаю особенностей MS в этом смысле, но все другие СУБД введут себя именно таким образом, так что подумай 10 раз прежде чем создавать партиции.


Тут много нюансов и заявление партиции на колумсторе не нужны -- говорит о слабом понимании вопроса.

1) Конкретно в моем случае партиции колумстора совпадали с партициями куба и я знал, чтобы буду всегда обращаться к конкретной партиции
2) Выполнение прямого SELECT имеет дополнительные затраты на сборку строки, в то время как для агрегатов это не нужно. Тут если вы внутри партиции, то задача попроще
3) А вы подумали, в каком случае легче вставлять записи в таблицу -- дописываю в небольшую последнюю партицию или перестраивая все колоночные индексы на всей таблице?

Так что ту не всё так просто и очевидны, если посмотреть на проблему со всех сторон.
4 май 16, 11:45    [19132680]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить