Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Выбор базы для > 60 млн записей.  [new]
neofil
Guest
Есть база около 60 млн записей. По ним постоянно происходит выборка, данные где-то раз в день происходит обновление всей инфы (insert, delete, update). Встала проблема скорости поиска, когда запросы длятся где-то минуту.

Нужно повысить скорость поиска (на данный момент сама бд разделена на много разных таблиц с типовыми данными для улучшения скорости). Есть вариант что бы повысить производительность - изменить БД.

Таблицы :
Поля (int, string).
Каждая где то по миллиону полей. Всего таблиц около 100-150.

Возможные варианты : MySQL, PostgreSQL. Так-же есть вариант MySQL InnoDB, что посоветуете на этот счёт?
16 май 06, 18:20    [2670942]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
gardenman
Member

Откуда: С-Петербург
Сообщений: 2347
Ничто так не улучшает перфоменс как перепроектирование. Замена базы тут - последнее дело)))
16 май 06, 18:21    [2670947]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
neofil
Guest
Дополнение : Тек. база - MySQL 4.1 MyISAM
16 май 06, 18:22    [2670949]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
guest_20040621
Guest
> Встала проблема скорости поиска, когда запросы длятся где-то минуту.

Конфиг сервера?
16 май 06, 18:45    [2671080]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
neofil
Guest
Около 4 гигов оперативки, SCSI RAID. Это всё что известно.
16 май 06, 18:51    [2671121]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
guest_20040621
Guest
> Около 4 гигов оперативки

Маловато для такого объема данных. Сколько и каких процессоров?

> SCSI RAID

Какой именно?

> Это всё что известно

Статистику сервера можете привести (дисковая, процессор, память)?
16 май 06, 18:55    [2671142]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Fktrc
Member

Откуда: Кемерово
Сообщений: 131
А что нащщет ындексов?

Posted via ActualForum NNTP Server 1.3

17 май 06, 07:25    [2672034]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
neofil
Таблицы :
Поля (int, string).
Каждая где то по миллиону полей. Всего таблиц около 100-150...

Опечатка? По миллиону записей?

Но тогда это не большая база данных. А клиентов много?
17 май 06, 09:29    [2672339]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
neofil
Guest
Каждая таблица где-то по миллиону. Сейчас посмотрел конкретно, оказалось что таблиц около 1000. Там просто есть дублирование для оптимизации поиска.
17 май 06, 16:19    [2675191]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
neofil
Каждая таблица где-то по миллиону. Сейчас посмотрел конкретно, оказалось что таблиц около 1000. Там просто есть дублирование для оптимизации поиска.

Ну тогда как Вам правильно подсказали - продумайте индексы, по которым идет поиск...

Если клиентов не очень много, то файлы данных на основе DBF FoxPro конечно будет быстрее всех... Все остальные будут медленнее в силу специфики своей работы...

Good luck!
17 май 06, 20:57    [2676561]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Yo.!!
Guest
Sergey Ch
neofil
Каждая таблица где-то по миллиону. Сейчас посмотрел конкретно, оказалось что таблиц около 1000. Там просто есть дублирование для оптимизации поиска.

Ну тогда как Вам правильно подсказали - продумайте индексы, по которым идет поиск...

Если клиентов не очень много, то файлы данных на основе DBF FoxPro конечно будет быстрее всех... Все остальные будут медленнее в силу специфики своей работы...

вы уважаемы идиот ... в силу свой специфики ...
17 май 06, 21:01    [2676570]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
Yo.!!
вы уважаемы идиот ... в силу свой специфики ...

You are welcome!
18 май 06, 10:23    [2677544]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Anton Demidov
Member

Откуда: Atlanta, GA
Сообщений: 1187
Sergey Ch
Yo.!!
вы уважаемы идиот ... в силу свой специфики ...

You are welcome!

Yo.!! расслабся - посмотри в его профиль - человек в основном фоксом и занимается - ему сравнивать не с чем.
19 май 06, 03:01    [2682026]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
Anton Demidov
Yo.!! расслабся - посмотри в его профиль - человек в основном фоксом и занимается - ему сравнивать не с чем.

Не совсем верно В основном MS SQL Server, в меньшей степени Oracle & MySQL... Если у кого - то 99% в профиле ПТ (просто треп), то это говорит скорее всего о том, что этот человек хороший специалист, а SQL.RU посещает в основном для души - пообщаться с высокоинтеллектуальными людьми с техническим уклоном...

Мне, например, просто интересно отвечать на вопросы по FoxPro, а в серверах все очень примитивно - открыл документацию, прочитал, сделал - никакого полета для фантазии, когда все разжевано и осталось проглотить
19 май 06, 09:35    [2682378]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Yo.!!
Guest
Anton Demidov
Yo.!! расслабся - посмотри в его профиль - человек в основном фоксом и занимается - ему сравнивать не с чем.


да ... фокспрошники на меня произвели неизгладивое впечатление в этом топике
https://www.sql.ru/forum/actualthread.aspx?bid=10&tid=189936&pg=20
19 май 06, 10:24    [2682644]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
4321
Member [заблокирован]

Откуда:
Сообщений: 3573
Yo.!!
неизгладивое
неизгадливое
19 май 06, 11:15    [2682994]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
Yo.!!
да ... фокспрошники на меня произвели неизгладивое впечатление...

В споре рождается истина и не факт, что мы умеем корретно это делать
19 май 06, 12:05    [2683423]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Yo.!!
Guest
Sergey Ch

В споре рождается истина и не факт, что мы умеем корретно это делать


ну нет, спасибо :) идиотских споров мне с клоунами интербейза хватает ...
19 май 06, 12:39    [2683669]     Ответить | Цитировать Сообщить модератору
 Re: Выбор базы для > 60 млн записей.  [new]
Михаил Михайлович
Member [заблокирован]

Откуда: Москва(Зеленоград)
Сообщений: 955
Yo.!!
Sergey Ch

В споре рождается истина и не факт, что мы умеем корретно это делать


ну нет, спасибо :) идиотских споров мне с клоунами интербейза хватает ...



Тоже хочу клоунов!!!
19 май 06, 17:20    [2685619]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить