Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Кто реально использует сжатие данных: ваши отзывы?  [new]
Winnipuh
Member [заблокирован]

Откуда: Київ
Сообщений: 10428
и рекомендации бывалых было бы интересно почитать.

То есть, когда можно, когда нужно использовать сжатие?
У меня базы большие и маленmкие, т.е. существенно больше памяти сервера и меньше бывают.
Серверы 2008-2014

Почитал здесь,
https://www.sql.ru/blogs/decolores/361

Прежде, чем применять сжатие на промышленной базе, лучше все-таки оценить степень сжатия в обоих режимах на тесте и оценить прирост или производительности. И только потом применить сжатие к тем таблицам и индексам, для которых это действительно актуально.
Все-таки сжатие, как и извлечение сжатых данных нагружают процессор и в зависимости от базы данных, можно проиграть в производительности. Например, практически бесмысленно сжимать данные в базе, если общий объем реально используемых данных меньше, чем объем доступной SQL Server памяти. В этом случае можно получить некоторый выигрыш при старте сервера, когда буферный пул (кэш данных сервера) наполняется данными из базы, но все остальное время скорее всего никакого преимущества от того, что данные сжаты, уже не будет.
Комментарии
23 февраля 2011, 08:52 Knyazev Alexey
Проц реально проседает, неожиданно сильно =(((
Кстати, Дима, про компрессию бэкапа в этой статье не хватает ;)


И комментарий Князева "отрезвил"

Ваши мнения?
3 авг 14, 16:01    [16393078]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
Вы боитесь на себе испытать, что ли? ;-)
3 авг 14, 18:46    [16393385]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37069
Жму все, что хотя бы на 15% ужимается. Процессорного времени - вагон, а памяти и дисков вечно не хватает.
4 авг 14, 01:05    [16393985]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Гавриленко Сергей Алексеевич,

а память-то тут как экономится? да и проц иногда лишним не бывает :)
4 авг 14, 10:24    [16394466]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37069
Crimean
Гавриленко Сергей Алексеевич,

а память-то тут как экономится? да и проц иногда лишним не бывает :)
Странички в памяти тоже сжатыми лежат как бы. Вернее, я так всегда думал.

Сообщение было отредактировано: 4 авг 14, 10:28
4 авг 14, 10:25    [16394475]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Shakill
Member

Откуда: мск
Сообщений: 1880
Гавриленко Сергей Алексеевич
Странички в памяти тоже сжатыми лежат как бы. Вернее, я так всегда думал.
так и есть
http://blogs.msdn.com/b/sqlserverstorageengine/archive/2008/01/27/compression-strategies.aspx
the index/data pages in buffer pool have compressed data and the SQL Server needs to uncompress the row/column, not the whole page, each time column/row(s) needs to be retrieved
4 авг 14, 10:34    [16394525]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
При сжатии возникла только одна проблема - значительные затраты на изменение типов данных столбцов.
4 авг 14, 11:27    [16394836]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
gang
Member

Откуда:
Сообщений: 1394
Владислав Колосов
При сжатии возникла только одна проблема - значительные затраты на изменение типов данных столбцов.


Это как? Вроде ничего компрессия сама по себе не меняет. Расскажите поподробней.
4 авг 14, 11:34    [16394884]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
Как сжатие может ничего не менять и сжимать при этом? :)
4 авг 14, 13:54    [16395799]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Павел-П
Member

Откуда:
Сообщений: 234
Добрый день,

1. При сжатии значительно увеличивается время записи большого батча в таблицу.
Особенно это заметно когда вам надо зачитать сжатые данные, а затем их залить в другую сжатую таблицу.
Bulk loading data into a compressed table involves compressing the data while performing the load. Therefore, BULK INSERT takes longer on a compressed table.
2. Ну и изменение структуры таблицы (NOT NULL fields, data type changes) ведет к ее пережатию. Не видел как это работает в 2012, но в 2008 этот момент надо учитывать.
4 авг 14, 16:10    [16396833]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Алексей Куренков
Member [заблокирован]

Откуда: Москва
Сообщений: 567
Winnipuh,

Пакет SSIS для заливки писал, сначала тестировал после реализовал - построчное сжатие и на источнике и на приемнике, производительность только выросла.
Тесты у меня показали что заливка быстрее была при DATA_COMPRESSION=ROW нежели =NONE. PAGE - реально сильно затармаживает запись. Вообще и майкрасофт рекомендует PAGE использовать если данные редко меняются в этой таблице или вообще не предполагают меняться - архив прошлых лет например.
4 авг 14, 17:33    [16397576]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37069
Алексей Куренков
Winnipuh,

Пакет SSIS для заливки писал, сначала тестировал после реализовал - построчное сжатие и на источнике и на приемнике, производительность только выросла.
Тесты у меня показали что заливка быстрее была при DATA_COMPRESSION=ROW нежели =NONE. PAGE - реально сильно затармаживает запись. Вообще и майкрасофт рекомендует PAGE использовать если данные редко меняются в этой таблице или вообще не предполагают меняться - архив прошлых лет например.
Для рандомных i/o-операций время сжатия/разжатия ничтожно мало по сравнению с временем, затраченным на поиск страниц. Потоковые и правда могут пострадать, но это хоть как-то должно компенсироваться тем, что прочитать/записать придется в итоге меньше.
4 авг 14, 17:43    [16397658]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Выпустили новый продукт. Как раз для таких случаев. Сейчас по моему акция проходит и можно взять бесплатно на время(или мне пишите я выдам триал) , провести тесты и получить всю необходимую вам информацию. Так что обращайтесь.

http://www.softpoint.ru/products_id342.htm
4 авг 14, 18:44    [16398003]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
http://dbclustertech.com/ru/solutions/softpoint-traffic-simulator/sts-desc/ Вот более подробное описание.
Профит в том что вы получите идентичное воспроизведение запросов и получите полную и объективную статистику одних и тех же запросов по времени выполнения, ЦПУ, reads и т.п. При повторном воспроизведении можно будет сравнить вплоть для разницы в планах(хотя в вашем случае это не актуально). Еще раз повторяю готов дать бесплатно, мне тоже интересны результаты.
4 авг 14, 18:50    [16398013]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 33977
Блог
реклама?
да еще и не по теме?
4 авг 14, 20:11    [16398348]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
babona
Member [заблокирован]

Откуда: Батуринск
Сообщений: 1816
так вот почему топег был создан
4 авг 14, 20:11    [16398349]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
gang
Member

Откуда:
Сообщений: 1394
Владислав Колосов
Как сжатие может ничего не менять и сжимать при этом? :)


Формат хранения и тип данных столбца это 2 большие разницы. Так что Вы все-таки имели в виду под
Владислав Колосов
значительные затраты на изменение типов данных столбцов
5 авг 14, 12:23    [16400503]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
То Критик. Вы знаете какие то другие инструменты для того что бы объективно оценить эффект(в данном случае для сжатия) для рабочей системы? Расскажите мне, может чего то не знаю. Нагрузочные тесты не всегда дают аналогичный спектр запросов да и трудоемкое это дело. Воспроизведение трасс имеет ряд существенных ограничений.
В данном случае появился новый продукт, я предлагаю его попробывать бесплатно. Мой профит это лишний кейс(основной кейс это переход на новый версии сиквела). Автору топика - получение объективного результата. Реклама продукта будет даваться в других местах, здесь целевая аудитория не та.
5 авг 14, 12:24    [16400508]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
автор
Так что Вы все-таки имели в виду под


Попробуйте изменить тип данных столбца сжатой таблицы миллионов хотя бы в 10 записей. Устанете ждать...

автор
Формат хранения и тип данных столбца

Как раз формат хранения "сжатых" и заключается в вычислении нового типа :)
5 авг 14, 13:17    [16400911]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Владислав Колосов
Попробуйте изменить тип данных столбца сжатой таблицы миллионов хотя бы в 10 записей.


лучше переливать в другую табличку, порциями. а то кто знает, сколько там места для журнала осталось
5 авг 14, 13:33    [16401038]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
Я как раз занимаюсь сейчас оптимизацией таблиц, потому результат переливки мне хорошо знаком
Если требуется изменить тип 1-2 колонки (сжатые), то по времени это сопоставимо с переливкой таблицы. Если требуется более 2 колонок, то выгоднее полностью перелить в новую несжатую таблицу с учетом индексов, ограничений и прочего. Сжатие индексов потом можно запустить фоном.
5 авг 14, 13:41    [16401100]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
gang
Member

Откуда:
Сообщений: 1394
Владислав Колосов
Попробуйте изменить тип данных столбца сжатой таблицы миллионов хотя бы в 10 записей. Устанете ждать...

Теперь догнал. Вы изменяете тип столбцов уже сжатой таблицы. Сначала было впечатление, что в процессе внедрения компресии Вы, почему-то, оказались вынуждены менять тип данных.
автор
Как раз формат хранения "сжатых" и заключается в вычислении нового типа :)

Это, конечно, спор о словах, но для меня тип данных это только то, что хранится в sys.types. Вы же нигде в cast-ах и convert-ах не пишете ничего про компрессию. Да и типы не вычисляются - вычисляются новые значения.
5 авг 14, 14:23    [16401434]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Knyazev Alexey
Member

Откуда: Екб -> Мск
Сообщений: 10234
Блог
Повсеместно используем сжатие в хранилищах, т.к. объёмы очень большие...процов уйма - просадка незначительная...значительный выигрыш в запросах к хранилищу, если данные поднимаем с диска, на горячую разницы никакой (это к вопросу про хранение сжатых данных в памяти)

по перфомансу есть тесты, например: http://technet.microsoft.com/en-us/library/dd894051(v=sql.100).aspx

и ещё:

К сообщению приложен файл. Размер - 47Kb
6 авг 14, 09:14    [16404554]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Knyazev Alexey
Member

Откуда: Екб -> Мск
Сообщений: 10234
Блог
Владислав Колосов
Попробуйте изменить тип данных столбца сжатой таблицы миллионов хотя бы в 10 записей. Устанете ждать...


изменение типа данных - это гарантированное пересоздание столбца, тут даже если вы с NULL на NOT NULL меняете свойство колонки, то получите DROPPED колонки и создание её по новой...такая вот печалька и дело тут ни в сжатии...бай дизайн
6 авг 14, 09:26    [16404579]     Ответить | Цитировать Сообщить модератору
 Re: Кто реально использует сжатие данных: ваши отзывы?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
В смысле - печаль не в сжатии? А в чем тогда? :) Несжатая колонка пересоздается раз в 5-6 быстрее.

Что касается выборки - то, да, количество чтений уменьшается и время запроса сокращается. Нагрузка на процессор совсем не катастрофическая.
6 авг 14, 14:29    [16406779]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить