Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Есть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.

Мои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.

Что можно выбрать, что бы у меня такие поля сжимались?


--------------------------------------------------------------
Изменить мир возможно, но не каждому это под силу
7 янв 11, 12:11    [10039789]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

Larsik
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.

Posted via ActualForum NNTP Server 1.4

7 янв 11, 12:17    [10039794]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Dimitry Sibiryakov
Larsik
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.


Ну если вы мне покажите, где можно купить 1Tb SCSI винт, то я прикуплю, и не один, а 10.
Да еще и обновление биоса для IBM ServerRAID 7 сделаете, Вам вообще не будет равных!
7 янв 11, 12:21    [10039803]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

Larsik
Ну если вы мне покажите, где можно купить 1Tb SCSI винт, то я прикуплю, и не один, а 10.

http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS2.0_Seagate_Constellation_ES_ST31000424SS_99932.html
http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS_2.0_Seagate_Constellation_ES_SED_ST32000445SS_106042.html
http://www.nix.ru/autocatalog/hdd_ibm_hitachi/HDD_SAS_2.0_Hitachi_Ultrastar_15K600_HUS156060VLS600_15000rpm_95568.html
http://www.nix.ru/autocatalog/hdd_fujitsu/HDD_450_SAS_2.0_Toshiba_MBF245LRC_10025rpm_3.5_105628.html

Posted via ActualForum NNTP Server 1.4

7 янв 11, 12:31    [10039825]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Dimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.
7 янв 11, 12:39    [10039842]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Yo.!
Guest
Larsik
Dimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.


я по мск уже неделю ищу IBM DISK DRIVES 1TB HD 7200 6GBPS NL SAS 3.5IN HS [42D0777]
мне найти не удается. только под спец заказ за клилобакс.
7 янв 11, 12:43    [10039852]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Может хватит флудить, дайте свои предложения, более конкретные.

Мне нужно хранить статистику использования Internet'a за 5 лет. Требование СБ такое.
Все работает нормально, только места не хватает. Готов перененсти все на другую СУБД, где строки могут быть сжаты сильнее, чем в FB
7 янв 11, 12:47    [10039858]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

Larsik
Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер
не поддерживает винты больше чем 160Gb.

Так, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.

И, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.

Posted via ActualForum NNTP Server 1.4

7 янв 11, 12:49    [10039861]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Dimitry Sibiryakov
Так, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.


Ну тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

Dimitry Sibiryakov
И, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.


Не знаю, не видел, приведите тесты, сравнения с другой СУБД. Холивар устраивать не хочу и не буду, мне самому, очень нравится FB, но если есть система у которой данные более компактно хранятся это будет великолепно.


PS
Dimitry Sibiryakov


Не стоит думать, что Вы самый умный. Мы тоже все вокруг, не пальцем деланные, может я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть. Подумайте на досуге.
7 янв 11, 12:58    [10039873]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6642
Larsik,

1)А может заказать сервер начального уровня на SATA RAID? Неизвестно, что больше замедлит - SATA или сжатие. Цена вопроса сравнима с заменой дисков на большие SCSI.
2)Можно в базе хранить ссылки на текстовые логи. А логи сжимать средствами NTFS или прикрутить зипование например суточных фрагментов.
3)Слышал, что в MySQL есть compress engine.
7 янв 11, 13:04    [10039885]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6642
Siemargl
3)Слышал, что в MySQL есть compress engine.
http://dev.mysql.com/tech-resources/articles/storage-engine.html
7 янв 11, 13:06    [10039888]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

Larsik
Ну тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов
максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

40 гигабайт на 5 лет составляет 200 гигабайт. RAID 10 на шести винтах даст тебе более 400.
Чем ты забил оставшиеся 200 что тебе не хватает?

Larsik
Не знаю, не видел, приведите тесты, сравнения с другой СУБД.

В поиск. В этом разделе kdv когда-то предлагал как раз померяться компактностью хранения.
Желающих не нашлось. Более того, никто вообще не понял о чём идёт речь и куда компактность
хранения упирается.

Larsik
может я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть

Мои познания в FB сильно преувеличены ((с) Влад Х.), но давай поищем что-нибудь в чём Вы
сможете утереть мне нос. Забег на 10 километров? Да, скорее всего.

Posted via ActualForum NNTP Server 1.4

7 янв 11, 13:07    [10039890]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Dimitry Sibiryakov
... но по компактности хранения данных Firebird
равных нет.

Даже Оракл? Все же думау, что без дополнительных подтверждений, рано сбрасыать его со счетов. Все же нуно проверить все возможности его фич (включая сжатие - типа попадалось упоминание и о таком). По крайней мере, када речь идет о компактонсти измеряемой в гигабайтах. Конечно, меньше 1 Гб он, наверное, не претендует на комактность. А вот выше нуно смотреть. А так как-то не сталкивался, чтобы росло из-за VARCHAR(2000), и уж точно моно более или менее однозначно определить из-за чего в нем что растет.
7 янв 11, 13:13    [10039900]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11558
Dimitry Sibiryakov
по компактности хранения данных Firebird равных нет.
Зачем делать такие заявления ?
А потом плодятся сказки о неадекватности всех FB-пользователей...
7 янв 11, 13:18    [10039903]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11558
Larsik
Есть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.
На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?

Larsik
Мои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.
На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).

Larsik
Что можно выбрать, что бы у меня такие поля сжимались?
Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.
7 янв 11, 13:23    [10039909]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
Dimitry Sibiryakov,

Я смотрю, не получается нормального диалога с Вами.
Dimitry Sibiryakov
но давай поищем что-нибудь в чём Вы сможете утереть мне нос

В моем отношении к людям и моей воспитанности и адекватности. Я задал вопрос про СУБД, а не про сервера и жесткие диски, если мне нужен будет совет про железо, то я пойду на тематический форум.

vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)

CREATE TABLE domains(
  id BIGINT,
  name VARCHAR(100),
  isLocal smallint,
  iswarning smallint,
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE users(
  id BIGINT,
  name VARCHAR(100),
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE jurnal(
  id BIGINT,
  id_date BIGINT,
  time TIME NOT NULL,
  id_user,
  ipadress VARCHAR(16),
  id_domain BIGINT,
  url VARCHAR(2000),
  code SMALLINT,
  size BIGINT,
  iserror SMALLINT,
  UNIQUE INDEX id (id)
)

Соответственно в таблице Jurnal есть FK на PK 3 других таблиц. Если Вы мне подскажите из за чего может расти, буду благодарен Вам.
7 янв 11, 13:25    [10039912]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
hvlad
Larsik
Есть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.
На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?


Возможно, как его тогда почистить?

hvlad
Larsik
Мои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.
На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).


Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.

hvlad
Larsik
Что можно выбрать, что бы у меня такие поля сжимались?
Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.


Я знаю и работаю с FB и немного с ASA11 (но он платный), знал бы другие не спрашивал бы совета у сообщества.
7 янв 11, 13:30    [10039918]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

hvlad
Зачем делать такие заявления ?

За тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.

Posted via ActualForum NNTP Server 1.4

7 янв 11, 13:33    [10039924]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Yo.!
Guest
Dimitry Sibiryakov
За тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.

тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла в десятки раз больше чем база любой промышленной субд ?
7 янв 11, 13:40    [10039935]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

Yo.!
тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла
в десятки раз больше чем база любой промышленной субд ?

Мы не об этом в данном топике говорим. Для Оракула будет достаточно одного запроса delete
from order_line, чтобы логи переросли любые разумные и неразумные размеры.

Posted via ActualForum NNTP Server 1.4

7 янв 11, 13:45    [10039944]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11558
Larsik
hvlad
На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?
Возможно, как его тогда почистить?
Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

Larsik
hvlad
На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).
Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.

Это легко определить запросом
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
7 янв 11, 13:46    [10039945]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
hvlad
Member

Откуда:
Сообщений: 11558
Dimitry Sibiryakov
hvlad
Зачем делать такие заявления ?
За тем, что опровергнуть это ещё никому не удалось.
Не нужно глупости публично говорить. На коротких записях FB имеет значительный оверхед.
Вот насчёт индексов пожалуй соглашусь, хотя префиксную компрессию ключей вроде и другие научились делать (оракл ? не помню)
7 янв 11, 13:49    [10039949]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Larsik

vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.

Я имел в виду, что в Оракле можно посмотреть по факту: про анализировать таблы и индексы с помощью специальных команд или процедур, которые соберут статистику. И с помощью представлений словаря БД тупо посмотреть за счет чего БД имеет такие размеры. Ну и соотвественно можно делать анализы в разное время и сравнивать, и т.д.

А не самому сидеть теоретически там считать.
Если нуно планировать все равно проще по началу заполнить тестовыми данными и с помощью средств СУБД все посчитать.
7 янв 11, 13:53    [10039956]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

hvlad
На коротких записях FB имеет значительный оверхед.

Да, имеет. Но что заставляет тебя думать, что другие сервера - нет?

Posted via ActualForum NNTP Server 1.4

7 янв 11, 13:53    [10039958]     Ответить | Цитировать Сообщить модератору
 Re: Бесплатный сервер БД с возможностью динамического сжатия данных.  [new]
Larsik
Member

Откуда:
Сообщений: 195
hvlad
Larsik
пропущено...
Возможно, как его тогда почистить?
Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

Как долго будет идти эта операция?
7 янв 11, 14:00    [10039968]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить