Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Помогите выбрать СУБД  [new]
__Avenger__
Member

Откуда:
Сообщений: 2006
Добрый день!

Будет таблица Table1 из 4-х полей int1, int2, date_start, date_end. pk (int1, int2)
В таблице изначально будет 100 000 000 записей.

Каждый день будет приходить новый файл table2, который будет содержать 2-а поля int1, int2.
Из этого файла в Table1 будет добавляться строки из table2. Так же будет обновление поля date_end в таблице Table1, если запись не присутствует в таблице table2.

Запросы будут такие:
select 1 from Table1 where int1=? and int2=?
select * from Table1 where date_start > ?
select * from Table1 where date_end > ?

Важно скорость выборки и скорость вставки. Машины слабые (1ГБ оперативки). Какую субд выбрать?
20 янв 16, 11:05    [18704627]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
__Avenger__
Member

Откуда:
Сообщений: 2006
Далее:
1. Есть головной офис и удаленные точки.
2. Изначальная база со 100 млн. записей будет разослана на удаленные точки. Далее актуальное состояние будет поддерживаться разностным файлом.
3. В головном офисе будет находится разностный файл изменений (insert, delete), произошедших с определенной даты Х. Изменений в день - 40 000.
4. Этот разностный файл будет отправляться на удаленные точки.

На удаленных точках запросы только select 1 from Table1 where int1=? and int2=?.
20 янв 16, 11:15    [18704699]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Fantomny
Member

Откуда: Санкт Петербург
Сообщений: 696
__Avenger__,
Имхо, вполне подойдет mysql.

Для простых запросов его минусы не важны, а плюсов у него много.
20 янв 16, 11:26    [18704785]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Sergey Orlov
Member

Откуда: СПб
Сообщений: 4508
Деньги есть, в том смысле, хотите бесплатную бд или же платную... Обновления разностным файлом... ну-ну...
20 янв 16, 15:22    [18706453]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30253
__Avenger__,

100млн записей. запись где-то 32 байта, без оверхеда. Значит размер базы будет минимум 3 гига. С учетом
"Машины слабые (1ГБ оперативки). "
получается, что для чтения это все в память не влезет, а значит будет дисковый I/O. Отсюда возникает вопрос, каковы критерии
"Важно скорость выборки и скорость вставки."

Я так понимаю, "скорость выборки" СУБД здесь вообще по барабану, т.к. она будет тупо ограничена средним SATA-диском на этой "слабой машине".
20 янв 16, 17:12    [18707257]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6640
kdv,

Нет. Ты запросы то посмотри.
3 индекса и будет щасте

Любая адекватная легкая СУБД справится. Дальше вопросы платформы ОС и средств программирования.
20 янв 16, 20:39    [18707996]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
__Avenger__
Member

Откуда:
Сообщений: 2006
В головном офисе будет создаваться разностный файл на мощных серверах. В базе ГО будет три индекса для получения разносного файла
1. pk (int1, int2)
2. index по date_start
3. index по date_end


Этот разностный файл будет отправляться в точки и там в изначальной базе будет происходить добавление записей и удаление записей. Примерно такой разностный файл:
insert into table1 (int1,int2) values(1,2)
delete from table 1 where int1=1 and int2=5
ну и таких строк 40000 в день
в год +10 000 000 записей

На точках будет в бд один индекс pk (int1, int2). Запросы только вида select 1 from Table1 where int1=? and int2=?.
20 янв 16, 23:01    [18708316]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
__Avenger__
Member

Откуда:
Сообщений: 2006
Sergey Orlov,

Хочется бесплатной субд.
20 янв 16, 23:02    [18708319]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

__Avenger__
Хочется бесплатной субд.

Сказали же: MySQL бери.

Posted via ActualForum NNTP Server 1.5

20 янв 16, 23:18    [18708362]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
LocksmithPC
Member

Откуда:
Сообщений: 275
Однажды запускал Firebird (смеха ради) на IBM PS/1 (2155) 486SX 25 Mhz (up to 33 Mhz). За давностью лет не могу вспомнить точно ли SX, или камень я заменил на что-то DX`ное. И насчет памяти не соврать бы. То ли 32 Мб, то ли 64 Мб. Воткнул NT 4.0, воткнул фаер, закинул базу 1,5 Гб и пощупал её за вымя со своей машины...

Учитывая тот момент, что в то время мы все еще пользовали файл-серверную БД (а фаерберду я подсунул её реплику), некоторым коллегам приходилось глаза запихивать пальцами в глазницы, после демонстрации формирования произвольных отчетов, на которых фаер на 486 проце рвал гегпрестиж с третим пнем 700 Mhz внутри себя + 256 Mb оперативки.
21 янв 16, 08:56    [18708951]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Adx
Guest
Берите любую бесплатную. Это типичная задача для любой СУБД, такие операции оптимизируются в движке в первую очередь.
В принципе, в инете есть сравнения разных СУБД по базовым операциям, можно их почитать. Там большой список СУБД, не думаю, что кто-то на форуме проводил серьезные тестирования в этой области.
21 янв 16, 12:56    [18710266]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2976
Родили нечто между штатной однонаправленной репликацией MySQL и полноценным интеграционным решением, кому это было надо, кто пытается корявенько свои амбиции реализовать?

Либо настроить слэйвы для MySQL и посадить админа за репликацией следить, либо обмениваться обновленными данными, а к вашим разностным файлам надо прикручивать инфраструктуру их последовательного всасывания, велосипедик изобретать с семиугольными колесиками.

Но здесь любят в таком формате вопросы задавать, вместо того чтобы обрисовать проблему.

И отвечать на такие вопросы любят.

Главное, потом бюджет на подобное не выделить.
21 янв 16, 17:04    [18712095]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Подпольщег
Guest
Fantomny
__Avenger__,
Имхо, вполне подойдет mysql.
Для простых запросов его минусы не важны, а плюсов у него много.

ЗА плюсы считается невосстановимый backup?
Или отсутствие журналирования?
Или отсутствие нормальной доки и понятной работы многих функций?
Или отсутствие вменяемой команды разработчиков?
Я не говорю про то, что даже файербёрд мыскель давно обогнала по функциональности.
А до postgresql вообще не достать.
26 янв 16, 15:41    [18731035]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Арктур Менгск
Member

Откуда:
Сообщений: 40
__Avenger__,

Считаю, что надо ставить PostgreSQL
26 янв 16, 15:51    [18731093]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2976
Подпольщег
Fantomny
__Avenger__,
Имхо, вполне подойдет mysql.
Для простых запросов его минусы не важны, а плюсов у него много.

ЗА плюсы считается невосстановимый backup?
Или отсутствие журналирования?
Или отсутствие нормальной доки и понятной работы многих функций?
Или отсутствие вменяемой команды разработчиков?
Я не говорю про то, что даже файербёрд мыскель давно обогнала по функциональности.
А до postgresql вообще не достать.

Интересно, работал плотненько с ним 10 лет назад, ничего такого ужасного не заметил.

Видимо, технологии шагнули вперед.
26 янв 16, 17:31    [18731852]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Dogen
Интересно, работал плотненько с ним 10 лет назад, ничего такого ужасного не заметил.

.

Ну Вы бы еще вспомнили первую конную армию.
27 янв 16, 15:18    [18736116]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2976
vadiminfo
Dogen
Интересно, работал плотненько с ним 10 лет назад, ничего такого ужасного не заметил.

.

Ну Вы бы еще вспомнили первую конную армию.

А что такого революционного произошло, простите?

Вот всего вышеописанного ужаса - не ощущали. Откуда появилось?
27 янв 16, 15:37    [18736221]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Dogen
vadiminfo
пропущено...

Ну Вы бы еще вспомнили первую конную армию.

А что такого революционного произошло, простите?

Вот всего вышеописанного ужаса - не ощущали. Откуда появилось?

Ну, возможно, тогда бэкапы и проч детали, все же выглядели как диковинка: многие и не заморачивались. В майскуле тогда могло и понятия транзакции не быть, и никто не придирался.
27 янв 16, 20:45    [18737684]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30253
Подпольщег
Или отсутствие нормальной доки и понятной работы многих функций?

langref на русском сделали же еще в прошлом году

Подпольщег
Или отсутствие вменяемой команды разработчиков?

в смысле? Нынешняя команда, по вашему, невменяема? Тусуется на sql.ru, исправляет ошибки почти моментально. Вам чего нехватает от команды разработчиков ФБ?
27 янв 16, 23:01    [18738131]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

kdv
в смысле?

Дима, не возбуждайся, он это о MySQL говорит.

Posted via ActualForum NNTP Server 1.5

27 янв 16, 23:06    [18738139]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Yo.!
Guest
kdv
langref на русском сделали же еще в прошлом году

langref вещь хорошая, но она не отменяет необходимость документации. никто из серьезных спецов не станет рассматривать ФБ как вариант не найдя документации. откройте оракловые доки, все должно начинаться с концептс. как сделана MVCC, как реализован конкурентный доступ/блокировки, управление памятью, компоненты сервера, и т.п

kdv
в смысле? Нынешняя команда, по вашему, невменяема? Тусуется на sql.ru, исправляет ошибки почти моментально. Вам чего нехватает от команды разработчиков ФБ?

адекватности не хватает. вы в курсе о чем я.
27 янв 16, 23:22    [18738182]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54791

Yo.!
все должно начинаться с концептс. как сделана MVCC, как реализован конкурентный
доступ/блокировки, управление памятью, компоненты сервера, и т.п

Это для Жигулей нужна полная инструкция по разборке-сборке, а у приличных машин достаточно
руль и педали опознать.

Posted via ActualForum NNTP Server 1.5

27 янв 16, 23:28    [18738196]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6640
Для двух- то таблиц и ФБ сойдет
27 янв 16, 23:57    [18738267]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
LocksmithPC
Member

Откуда:
Сообщений: 275
Siemargl
Для двух- то таблиц и ФБ сойдет


А для 3-х тысяч?

К сообщению приложен файл. Размер - 8Kb
28 янв 16, 06:45    [18738579]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2976
vadiminfo
Dogen
пропущено...

А что такого революционного произошло, простите?

Вот всего вышеописанного ужаса - не ощущали. Откуда появилось?

Ну, возможно, тогда бэкапы и проч детали, все же выглядели как диковинка: многие и не заморачивались. В майскуле тогда могло и понятия транзакции не быть, и никто не придирался.

Было innodb уже, из практики - 15ГБ с блобами (сканы документов по 1МБ примерно) отлично ворочалось на тогдашнем железе.

Хотя конечно, не-веб-проекты на мускле были в диковинку.
28 янв 16, 11:36    [18739307]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить