Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11577
Dimitry Sibiryakov
hvlad
На коротких записях FB имеет значительный оверхед.

Да, имеет. Но что заставляет тебя думать, что другие сервера - нет?
Знания и опыт, представь себе.
7 янв 11, 14:41    [10040037]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11577
Larsik
hvlad
Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.
Как долго будет идти эта операция?
Зависит от производительности ИО.
Судя по этому вопросу, ни то, ни другое ни разу не делалось ?...
7 янв 11, 14:43    [10040042]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
SERG1257
Member

Откуда:
Сообщений: 2934
Larsik
Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.
В лоб - разбейте его на условно постоянную и условно переменную часть нормализовав условно постоянную, если большую часть адреса составляют длинные параметры, нормализуйте их тоже. Совсем старые данные (старше года, или месяца) экспортируйте в файл с возможностью быстрого импорта если надо. Уверен, что это требование из разряда шоб было и требований мгновенного доступа к пятилетнему журналу внутренних веб служб не будет.
Larsik
Бесплатный сервер БД с возможностью динамического сжатия данных

А риск потери ВСЕХ данных из-за недостатка опыта в неизвестной бесплатной субд плюс время на изучение/переписывание/тестирование не смущают.
7 янв 11, 15:00    [10040065]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
SERG1257,

Требования действительно такие, шоб было.

hvlad,
С рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.
Могу только с копии базы, с меньшим объемом.

Запрос
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109
7 янв 11, 15:20    [10040097]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11577
Larsik
С рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.
Странно.
Если так, то можно попробовать в часы минимальной загрузки БД (ночью ?)

Larsik
Могу только с копии базы, с меньшим объемом.
Если копия есть поднятый бекап, то смысла в этом нет. Иначе можно попробовать.

Larsik
Запрос
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109
Ну так это же совсем не 60% от 2000, не так ли ?

Сдаётся мне, что пора перейти в профильный форум, ибо мы всё больше уходим от "сравнения субд" :)
7 янв 11, 15:27    [10040103]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54848

hvlad
Знания и опыт, представь себе.

У TPC-C как раз записи короткие. Насколько Оракул выигрывает по объёму базы?

Posted via ActualForum NNTP Server 1.4

7 янв 11, 15:29    [10040107]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11577
Dimitry Sibiryakov
hvlad
Знания и опыт, представь себе.

У TPC-C как раз записи короткие. Насколько Оракул выигрывает по объёму базы?
Измерь, тебе же интересно. Или найми меня (ты любишь оказывать платные услуги)
7 янв 11, 15:35    [10040111]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
hvlad
Larsik
С рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.
Странно.
Если так, то можно попробовать в часы минимальной загрузки БД (ночью ?)

Можно попробовать, но не вижу смысла (с учетом Вашего поста на счет бекапной версии), в выходные (суббота, воскресенье) делается полный бекап/рестор базы, и пересчет индексов.

hvlad
Larsik
Могу только с копии базы, с меньшим объемом.
Если копия есть поднятый бекап, то смысла в этом нет. Иначе можно попробовать.

Да копия из бекапа.

hvlad
Larsik
Запрос
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109
Ну так это же совсем не 60% от 2000, не так ли ?

Согласен!

hvlad
Сдаётся мне, что пора перейти в профильный форум, ибо мы всё больше уходим от "сравнения субд" :)

И тут согласен!
7 янв 11, 15:35    [10040112]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11577
Larsik
в выходные (суббота, воскресенье) делается полный бекап/рестор базы
В таком случае вопрос о мусоре отпадает сам собой.
Но не вопрос о пользе\возможности сжатия данных.
7 янв 11, 15:36    [10040116]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
hvlad,

Получается так.

оффтоп:
Я со своей работой скоро свихнуть
7 янв 11, 15:44    [10040133]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54848

hvlad
Измерь, тебе же интересно.

Мне - неинтересно. Классовое чутьё утверждает, что сравнение будет в пользу Firebird и я
ему доверяю.

Posted via ActualForum NNTP Server 1.4

7 янв 11, 15:54    [10040143]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
url VARCHAR(2000)
еще и руки-ноги нужно менять.
7 янв 11, 16:44    [10040249]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Di_LIne
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
url VARCHAR(2000)
еще и руки-ноги нужно менять.


Предложите свой вариант, может я не прав. Но в этой таблице за год накапливается 356 записей, а разделение сделано, для поиска по составному индексу. А по поводу VARCHAR(2000) не согласен, для хранения длинных URL адресов, что использовать тогда? Blob это еще хуже.

Предлагайте, я для этого и создал эту тему!
7 янв 11, 16:53    [10040265]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Di_LIne

А за
url VARCHAR(2000)
еще и руки-ноги нужно менять.


Вот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)
http://bs.yandex.ru/watch/12441?rn=110211&cnt-class=1&page-ref=http%3A%2F%2Fyandex.ru%2Fyandsearch%3Ftext%3D%25D0%259F%25D1%2580%25D0%25BE%25D0%25B4%25D1%2583%25D0%25BA%25D1%2586%25D0%25B8%25D1%258F%2B%25D0%25A1%25D0%25B5%25D0%25B2%25D0%25B5%25D1%2580%25D0%25BD%25D1%258B%25D0%25B9%2B%25D0%2592%25D0%25B5%25D1%2582%25D0%25B5%25D1%2580-%25D0%259F%25D0%25BE%25D0%25BB%25D0%25B8%25D0%25B3%25D1%2580%25D0%25B0%25D1%2584%25D0%25B8%25D1%258F%26lr%3D213%26stpar2%3D%252Fh1%252Ftm37%252Fs1%26stpar4%3D%252Fs1%26stpar1%3D%252Fu0&page-url=http%3A%2F%2Fopenmarket.ru%2Fviewoffer.asp%3Fid%3D22599&browser-info=j:1:s:320x256x32:f:10.0.12.36:t:%22%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D1%8B%D0%B9%20%D0%B2%D0%B5%D1%82%D0%B5%D1%80%20-%20%D0%9F%D0%BE%D0%BB%D0%B8%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F%22%20%D0%9E%D0%9E%D0%9E%20%E2%80%94%20%D0%9C%D0%BE%D1%81%D0%BA%D0%B2%D0%B0%20%E2%80%94%20%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D0%B8%20%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2%20%D0
7 янв 11, 17:10    [10040293]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
Larsik
Вот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)

Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?


автор
Но в этой таблице за год накапливается 356 записей

Для этого и текстового файла хватит.
Как говорит великий гуру: - Мучать птичку для хранения каких-то жалких 3 мульнов записей...
(У мну по 50-70 тыс. строк лога web-сервера в сутки. 7,5 мильенов строк в 2,6 гига БД)


автор
...может я не прав.
Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый. Ага? ;-)
Больше, чем 2099 год тебе не понадобится. Как и мне впрочем.
7 янв 11, 18:55    [10040521]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
а может, если производтельности хватает просто включеть коспрессию файла с базой данных на уровне файловой системы? На ntfs такое точно есть, за линуксы не знаю.
7 янв 11, 19:34    [10040647]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
Di_LIne
автор
...может я не прав.
Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый.
Больше, чем 2099 год тебе не понадобится. Как и мне впрочем.

вот так, на ровном месте, и возникают проблемы типа "2000-года". "Тебе не понадобиться", а дальше хоть трава не расти. Грамотный подход к разработке.
7 янв 11, 19:40    [10040660]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
Di_LIne
Larsik
Вот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)

Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?

логично.
7 янв 11, 19:43    [10040672]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Andrey Sribnyak
Member

Откуда: Киев
Сообщений: 600
iscrafm
Di_LIne
пропущено...
Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый.
Больше, чем 2099 год тебе не понадобится. Как и мне впрочем.

вот так, на ровном месте, и возникают проблемы типа "2000-года". "Тебе не понадобиться", а дальше хоть трава не расти. Грамотный подход к разработке.


я в принципе не понимаю, ЗАЧЕМ??? когда мы храним полную дату необходимо записывать отдельно еще ГОД, МЕСЯЦ и ДЕНЬ???

Возможно есть какие-то тайные причины... тогда хотелось бы их услышать...

Конечно, я допускаю, что чего-то не понимаю ;-)
7 янв 11, 19:58    [10040715]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
iscrafm
Di_LIne
пропущено...

Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?

логично.


1. Не логично, есть заказчик ПО (служба безопасности) их требования хранить все без исключения(а это и поисковые запросы тоже) даже неправильные запросы к прокси серверу, с кодами ошибок (например: 401, 403, 404, 500 и т.д.), а URL кодирование не поможет повсеместно. Их на всю базу примерно 30%. Импорт и так проходит достаточно долго, а если я сейчас ввиду URL декодирования, я по скорости не успею все поступающие данные обработать.
2. У тебя 50-70т за сутки, а у меня за 1 час столько записей, а строк в таблице Jurnal у меня 96 миллионов и баз 64 Гб.

Не надо меня учить разработке приложений, дайте дельный совет согласно сабжа. По поводу длины я уже придумал, как сократить длинну поля, по при этом, если верить точу, что сказал hvlad
hvlad
Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).
, это не поможет.
7 янв 11, 20:14    [10040761]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
NetObserver
Member

Откуда:
Сообщений: 642
Larsik
Di_LIne
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
url VARCHAR(2000)
еще и руки-ноги нужно менять.


Предложите свой вариант, может я не прав. Но в этой таблице за год накапливается 356 записей, а разделение сделано, для поиска по составному индексу. А по поводу VARCHAR(2000) не согласен, для хранения длинных URL адресов, что использовать тогда? Blob это еще хуже.

Предлагайте, я для этого и создал эту тему!


У меня была подобная задача - сжимал трафик. Пакеты до 4Kb. Использовал zlib. Сжатие в среднем 40% от исходного обьема(данные похожие - текст). При этом пакеты <200байт не сжимались (иначе пакет увеличивался, а не уменьшался). Могу посоветовать:
1)Написать пару UDF со сжаием\распаковкой и сжать длинные строки из базы. По запросу распаковывать.
2)Нафига в строке URL хранить название домена? "http://bs.yandex.ru" - у тебя же есть отдельная таблица domains?
3)Разобратся с URL кодированием, у тебя до 60% "лишних" данных из за этого.
7 янв 11, 20:18    [10040769]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Andrey Sribnyak
я в принципе не понимаю, ЗАЧЕМ??? когда мы храним полную дату необходимо записывать отдельно еще ГОД, МЕСЯЦ и ДЕНЬ???

Возможно есть какие-то тайные причины... тогда хотелось бы их услышать...

Конечно, я допускаю, что чего-то не понимаю ;-)


Читайте выше, по топику. А если лень, то я повторюсь - для составных индексов. Когда происходит выбор в диапазоне, проверено на практике, так быстрее.

Хотя все и дальше могут отвлекаться от основного вопроса топика, и обсуждать таблицу которая занимает менее одного 1% всего файла.
7 янв 11, 20:20    [10040773]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
iscrafm
Member [заблокирован]

Откуда:
Сообщений: 35345
Larsik
2. У тебя 50-70т за сутки, а у меня за 1 час столько записей, а строк в таблице Jurnal у меня 96 миллионов и баз 64 Гб.

у меня вообще ничего этого нет, ты адресом ошибся.
7 янв 11, 20:25    [10040782]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
iscrafm,

да это я Di_LIne
7 янв 11, 20:27    [10040787]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
-2-
Member

Откуда:
Сообщений: 15330
Как часто приходится разбирать содержимое урла? Если содержимое не используется для поиска, храните колонку в отдельном файле на дешевом диске, хоть по usb подключить террабайтник. Можно попробовать прозрачно-сжимать файл средствами ОС, но с осторожностью - сжатие увеличит нагрузку на процессор и время доступа. Если FB поддерживает directio - этот режим может запортить сжатый средствами ОС файл.
Не знаю как это в FB с вертикальным партиционированием или хранением блобов в отдельном файле, на крайний, можно положить url в отдельную таблицу, а в мастер-таблице только ключ.
7 янв 11, 21:38    [10040916]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить