Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 СУБД с поддержкой компресии данных и индексов  [new]
vazhnecki
Member

Откуда:
Сообщений: 93
Есть возможность реализовать сжатие/разжатие на стороне клиента, но тогда будет капут индексам.
Грамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?
18 май 09, 23:56    [7195846]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
vazhnecki
Member

Откуда:
Сообщений: 93
Есть еще мысль просто напросто использовать файловую систему с сжатием.
19 май 09, 00:10    [7195874]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54783

vazhnecki
Существуют ли такие СУБД ?

Oracle, Firebird, Interbase. А, собственно, нафига? Не проще ли порнуху
на сервере грохнуть?..

Posted via ActualForum NNTP Server 1.4

19 май 09, 00:17    [7195889]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

vazhnecki wrote:
> Грамотно это реализовать может только сама СУБД.

> Существуют ли такие СУБД ?

Практически все современные СУБД в том или ином виде используют
сжатие в индексах ( в ключах).

И наоборот, практически никто не сжимает данные. Для эффектного сжатия
нужны значительные объёмы данных, которых в реляционных СУБД нет,
там максимум есть одна запись, которая достаточно коротка.

Так что ты этого не хочешь на самом деле (только ещё этого не понимаешь).
Если же тебе надо жать C/BLOB-ы, тогда да, можно жать. Но это можно
и нужно делать на клиенте, никакие индексы не пострадают, потому что
C/BLOB-ы не индексируются.

Posted via ActualForum NNTP Server 1.4

19 май 09, 01:16    [7195962]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
vazhnecki
Грамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?


MS SQL 2008 поддерживает компрессию данных, индексов и бэкапов.
19 май 09, 08:10    [7196096]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
MasterZiv,

Тут не только дело в блобах. Например, использование компрессии позволяет разместить на одной странице больше записей (правда без увеличения максимального размера самой записи).
19 май 09, 08:13    [7196100]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
Sybase SA10/11 поддерживает компрессию данных на уровне отдельных таблиц. А девятая версия(если не ошибаюсь) только на уровне всей БД.
19 май 09, 09:28    [7196262]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

pkarklin wrote:

> MS SQL 2008 поддерживает компрессию данных, индексов и бэкапов.

Вряд ли данных. Может только блобы. А индексы и бэкапы все сжимают.

Posted via ActualForum NNTP Server 1.4

19 май 09, 10:36    [7196654]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

pkarklin wrote:

> Тут не только дело в блобах. Например, использование компрессии
> позволяет разместить на одной странице больше записей (правда без
> увеличения максимального размера самой записи).

Ага, и делает невозможным бинарный поиск записи на странице, например.
Проходили.

Posted via ActualForum NNTP Server 1.4

19 май 09, 10:37    [7196660]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
MasterZiv
Вряд ли данных. Может только блобы. А индексы и бэкапы все сжимают.


Компрессия применяется и к страницам данных и индексов.

MasterZiv
Ага, и делает невозможным бинарный поиск записи на странице, например.
Проходили.


каким образом физический формат хранения может повлиять на бинарный поиск?!
19 май 09, 10:44    [7196733]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
hvlad
Member

Откуда:
Сообщений: 11553
MasterZiv
Ага, и делает невозможным бинарный поиск записи на странице, например.
Проходили.
Может стоит привести ссылки на формат, который предполагает "бинарный поиск записи на странице" ?..
19 май 09, 13:08    [7197756]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
vazhnecki
Грамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?

Informix Dynamic Server data compression and storage optimization
Save storage resources, reduce I/O, and optimize performance with new IDS features
http://www.ibm.com/developerworks/data/library/techarticle/dm-0904idsoptimization/index.html?ca=drs-&ca=dkw-informix
19 май 09, 14:22    [7198378]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
vazhnecki
Member

Откуда:
Сообщений: 93
Спасибо за ответы.
Если вы думаете что сжатие не имеет смысла, то вот вам смысл:
Размер самой базы небольшой ~4Gb. Сжатие нужно для того, чтобы вся база поместилась в дисковом кеше - 3Gb памяти. Таким образом к диску будут обращения только для записи, что значительно снизит нагрузку на него. В данный момент все ресурсы уходят на чтение с диска, процессор загружен на 10% и не использовать сжатие в данной ситуации было бы глупо :)
19 май 09, 17:40    [7200011]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
vazhnecki
Спасибо за ответы.
Если вы думаете что сжатие не имеет смысла, то вот вам смысл:
автор
Размер самой базы небольшой ~4Gb. Сжатие нужно для того, чтобы вся база поместилась в дисковом кеше - 3Gb памяти.
Таким образом к диску будут обращения только для записи, что значительно снизит нагрузку на него. В данный момент все ресурсы уходят на чтение с диска, процессор загружен на 10% и не использовать сжатие в данной ситуации было бы глупо :)


Ой, не в ту сторону Вы копаете. Не для баз такого размера предназначено сжатие даных, реализуемых в современных СУБД. Да и поддерживается оно (как, например, в MS SQL) тока в топовых редакциях.

База должна "помещаться" не в дисковом, а в буферном кэше. И... о какой СУБД идет речь?
19 май 09, 17:53    [7200123]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
vazhnecki
Member

Откуда:
Сообщений: 93
должна не должна, это не важно,
важно что ресурсы ограничены :)
Mysql сейчас
19 май 09, 17:58    [7200150]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

vazhnecki wrote:

> данный момент все ресурсы уходят на чтение с диска, процессор загружен
> на 10% и не использовать сжатие в данной ситуации было бы глупо :)

Вообще-то для баз данных очень характерно, что основная нагрузка ложиться
на диск. Чтение из файлов -- это хлеб СУБД, так что ничего удивительного.
А все данные никогда в кэш не поместить. Если вы их сожмёте, и они
влезут в память, то для разархивации память всё равно потребуется. И
для архивации тоже.

Не знаю, по-моему сжатие данных -- очень сомнительная фича для СУБД.
Да, можно жать индексы (префиксно), можно дампы, можно блобы -- их
записывают и считывают, в СУБД эти данные не обрабатываются.
Всё остальное жать не имеет смысла по-моему, на уровне поего
сегодняшнего понимания вещей.

Posted via ActualForum NNTP Server 1.4

19 май 09, 18:45    [7200391]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

vazhnecki wrote:

> должна не должна, это не важно,
> важно что ресурсы ограничены :)
> Mysql сейчас

Ресурсы СУБД всегда ограничены, а база всегда больше памяти.
Иначе нет смысла использовать СУБД. Но это ещё не повод
применять сжатие.

Posted via ActualForum NNTP Server 1.4

19 май 09, 18:46    [7200398]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
miksoft
Member

Откуда:
Сообщений: 38919
vazhnecki
Mysql сейчас
myisampack — Generate Compressed, Read-Only MyISAM Tables - Читали?

MasterZiv
... можно жать индексы (префиксно)...
А вот это - увы, в MySQL отсутствует.
19 май 09, 20:23    [7200719]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
hvlad
Member

Откуда:
Сообщений: 11553
MasterZiv
Вообще-то для баз данных очень характерно, что основная нагрузка ложиться
на диск. Чтение из файлов -- это хлеб СУБД, так что ничего удивительного.
А все данные никогда в кэш не поместить. Если вы их сожмёте, и они
влезут в память, то для разархивации память всё равно потребуется. И
для архивации тоже.

Не знаю, по-моему сжатие данных -- очень сомнительная фича для СУБД.
Да, можно жать индексы (префиксно), можно дампы, можно блобы -- их
записывают и считывают, в СУБД эти данные не обрабатываются.
Всё остальное жать не имеет смысла по-моему, на уровне поего
сегодняшнего понимания вещей.
Т.е. уменьшить IO за счёт CPU - это сомнительная фича ?
19 май 09, 21:08    [7200814]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
miksoft
Member

Откуда:
Сообщений: 38919
hvlad
Т.е. уменьшить IO за счёт CPU - это сомнительная фича ?
Если база работает не только на чтение, но и на запись (а именно в рассчете на это и разрабатывается большинство СУБД), то вероятность уменьшения IO, имхо, сильно сокращается. А вот потребление CPU может возрасти очень значительно.
19 май 09, 21:19    [7200832]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
SERG1257
Member

Откуда:
Сообщений: 2932
IMHO
Компрессия эффективна только для всяких DWH приложений с денормализацией и большим размером блока (там есть где разгулятся)
vazhnecki
должна не должна, это не важно, важно что ресурсы ограничены :)

Стоимость ресурсов куда меньше, чем стоимость времени специалиста для создания/поддержки вашего велосипеда.
19 май 09, 21:24    [7200837]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
vazhnecki
Member

Откуда:
Сообщений: 93
Друзья, пользу или бесполезность сжатия можно обсуждать сколько угодно.
Здесь же хотелось бы получить максимум информации по СУБД которые уже владеют такой фичей.

Вот смотрю у DB2 есть способность сжимать как данные так и индексы, но цена ..
Кстати из бесплатных есть такие ? .. Postgresql вот умеет сжимать данные но не индексы.
19 май 09, 21:31    [7200858]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
vazhnecki
Member

Откуда:
Сообщений: 93
miksoft,
myisampack К сожалению она ReadOnly, хоть это и можно кое-как обойти.
19 май 09, 21:34    [7200867]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
vazhnecki
Member

Откуда:
Сообщений: 93
SERG1257

Стоимость ресурсов куда меньше, чем стоимость времени специалиста для создания/поддержки вашего велосипеда.

правда ? а вы пробовали добавить к dedicated серверу пару гигов памяти ? ну вот идите уточните цены, а потом будем спорить :)
19 май 09, 21:37    [7200879]     Ответить | Цитировать Сообщить модератору
 Re: СУБД с поддержкой компресии данных и индексов  [new]
hvlad
Member

Откуда:
Сообщений: 11553
miksoft
hvlad
Т.е. уменьшить IO за счёт CPU - это сомнительная фича ?
Если база работает не только на чтение, но и на запись (а именно в рассчете на это и разрабатывается большинство СУБД)
Обычно операций чтения таки больше, чем операций записи. А часто - намного больше.

miksoft
то вероятность уменьшения IO, имхо, сильно сокращается.
Почему ? И почему вероятность ?

miksoft
А вот потребление CPU может возрасти очень значительно.
Это очень зависит от схемы компрессии. Понятно, что rar и даже менее ресурсоёмкий zip никто не встраивает в СУБД (разве что в очень специальных случаях).
Необходимо также учитывать то, что мощность CPU растёт гораздо быстрее скорости дисковых систем. Может быть SSD что-то изменит, но пока что оно не годится для массового применения.
19 май 09, 22:27    [7201031]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить