Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
Извините, если я выбрал неправильную тему форума. Просто не знаю точно, где задать этот вопрос.
Есть БД в аксесе для анализа детализаций телефонных переговоров. Пока что в ней есть 300 миллионов записей. Предполагается, что через 3 года их будет миллиард.
Изначально в базе было не более 100 тыс записей. Работало все достаточно быстро. Ведь для каждого месяца и здания использовался отдельный файл БД.
Меня попросили объединить все БД, чтобы получить общий анализ за все периоды по всем бизнес-центрам. Я объединил, получил вот такое количество записей. БД теперь тормозит неимоверно. Элементарно открытие таблицы занимает примерно минуту. Вроде не так много, но это только открытие таблицы. Я уж не говорю про какие-то запросы. И это я пока объединяю в MDB. Я не говорю уж про ADP, в который я пока пихать эту общую таблицу звонков не хочу, так как ясно, что через сеть столько данных не пройдет, и серверные фильтры здесь вряд ли особо помогут.
Посоветуйте, пожалуйста, что в этом случае нужно делать? Видимо, первое, это отказаться от Аксеса? А какую БД начать изучать? Oracle или какую-то другую?
Спасибо
11 май 09, 21:31    [7167416]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
miksoft
Member

Откуда:
Сообщений: 38919
Дело не столько в количестве записей, сколько в том, что и как с ними делать.
Я бы посоветовал вам два пути:
1) на форуме по Access-у описать подробно (то, что написано здесь - это не подробно) ваши действия и желаемый результат.
2) покажите DDL и SQL-запросы здесь. Возможно, получится дать вам какие-то общие рекомендации по улучшению быстродействия.

И только если ничего из этого не поможет, тогда есть смысл думать о смене СУБД.
11 май 09, 21:54    [7167440]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Senya_L
Member

Откуда: Москва
Сообщений: 5381
Интересное кино... Судя по объемам это телефонные переговоры небольшого городка. :)
А кроме Access'а у Вас какие-нибудь СУБД используются вообще?
11 май 09, 21:56    [7167444]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54769

Senya_L

А кроме Access'а у Вас какие-нибудь СУБД используются вообще?

Гораздо интереснее вопрос: а есть ли у них там программисты...

Posted via ActualForum NNTP Server 1.4

11 май 09, 23:18    [7167575]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
Dimitry Sibiryakov

Senya_L

А кроме Access'а у Вас какие-нибудь СУБД используются вообще?

Гораздо интереснее вопрос: а есть ли у них там программисты...


Вопрос логичный и правильный. Отвечу честно и откровенно. Никаких программистов нет. Есть я, который несколько месяцев назад начал изучение аксеса. Пришлось это сделать по-разным причинам. Это уже другой вопрос. Главное, что специалистов в этой области у нас нет. Иначе у меня такого вопроса не стояло бы. Соответственно, сами понимаете, каков мой уровень на данный момент с учетом того, что времени на изучение слишком мало. Уровень слишком низкий. Но достаточный, чтобы создавать простые приложения под свои нужды.
Впринципе, вопрос о скорости запросов не стоит. Как я говорил, они работают моментально при количестве до 100 тыс, что было достаточно.
Вопрос стоит в том, что даже без запросов сама таблица с количеством записей в 300 млн открывается целую минуту. И это на моем домашнем компе, который далеко не самый слабый (хотя покупался 1,5 или 2 года назад, точно не помню). Процессор Кор2Дуо, оперативки 8Гб. Соответственно, это либо акс уже не тянет такое количество записей либо железа недостаточно.
Я сталкиваюсь с такой проблемой впервые, поэтому и спрашиваю. Что влиет на скорость открытия таблицы? Например, любая самая современная игра у меня идет на максимальном разрешении без проблем (может и не любая, я не игроман, но ребенок покупает последние появляющиеся игры и они идут без проблем с максимальным разрешением). Хотя полагаю, что требования к железу для БД и для игр отличаются.
11 май 09, 23:42    [7167629]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Senya_L
Member

Откуда: Москва
Сообщений: 5381
Srg999
Мне вот непонятно только, как это при таком потоке телефонного трепа, т.е. вроде бы как организация немаленькая, нет программиста?
автор
А какую БД начать изучать? Oracle или какую-то другую?
Это называется "вопрос ребром": Oracle or not Oracle

Сформулируйте требования к СУБД, если уж надумали выбирать.
11 май 09, 23:50    [7167642]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
Senya_L
Srg999
Мне вот непонятно только, как это при таком потоке телефонного трепа, т.е. вроде бы как организация немаленькая, нет программиста?
автор
А какую БД начать изучать? Oracle или какую-то другую?
Это называется "вопрос ребром": Oracle or not Oracle

Сформулируйте требования к СУБД, если уж надумали выбирать.


Не поверите, но организация немаленькая. Однако, на многом экономит. Мне тоже смешно, когда приходится заниматься не своей работой. А делаю я эти БД исключительно для себя, чтобы работать было проще, так как пока меня эта работа устраивает. И эти БД мне сильно облегчают работу. Но если буду уходить, то все заберу. Я задавал как-то вопрос про удаление БД в зависимости от определенных условий. И сейчас у меня такое реализовано. Если я уйду, то уйду по-хорошему, но у них через 3 запуска моя БД удалится полностью, а тут уж я не знаю, что у них за сбой в компьютере. А так как программистов нет, то никто ничего не поймет. Но это уже другая история.

А что касается Оракла, то я не так много БД знаю. Но из того, что я слышал краем уха, достаточно быстрая БД - это Оракл. Хотя понимаю, что написав это, я выгляжу очень смешно, так как любой профи сразу скажет, что все зависит от требований к СУБД, о чем Вы и спросили, кстати говоря.

Как бы то ни было, если опустить все частности. Можете ли Вы, уважаемые профи, ответить на вопрос. Таблица с 300 миллионами записей в аксесе должна открываться быстро или как у меня минута - это нормальное время? Если Вы скажете, что это нормальное время, значит я буду предполагать, что дело в самом аксесе.
12 май 09, 00:00    [7167662]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54769

Srg999

Вопрос стоит в том, что даже без запросов сама таблица с количеством
записей в 300 млн открывается целую минуту.

А ты не открывай таблицу, ты сразу запрос запускай. Или этот странный
акцесс так не умеет?..

Posted via ActualForum NNTP Server 1.4

12 май 09, 00:18    [7167692]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
случай на самом деле тяжелый.
1. нужен нормальный сервер СУБД. в этом случае лучше и проще привязаться к SQL Server 2008 (использовать ли ADP?), мигрировать туда все содержимое из Access.
2. т.к. проводится различный анализ, то для этих целей лучше использовать OLAP-инструментарий. самый доступный - MS Office Excel, функционал сводной таблицы. сводную таблицу можно "повесить" как на OLAP-куб, так и на внешнюю "таблицу".

если контора экономит, но есть желание разбираться - список наиболее доступных продуктов я описал. если нет желания разбираться - надо "прогнуть" контору на использование любого нормального OLAP-инструмента и привлечь аутсорсера со знанием этого инструмента.

мое имхо, в форуме "Сравнение СУБД" я бы не стал искать специалистов по OLAP, для этого есть отдельный форум "OLAP и DWH".

Что касается вопроса про миллиард записей, ответ - любая из DB2, Oracle, SQL Server, Sybase.
12 май 09, 00:28    [7167706]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Senya_L
Member

Откуда: Москва
Сообщений: 5381
Srg999
Можете ли Вы, уважаемые профи, ответить на вопрос. Таблица с 300 миллионами записей в аксесе должна открываться быстро или как у меня минута - это нормальное время?
Ответить на этот вопрос вряд ли кто сможет. Или постесняется. ;) Потому что есть устойчивое мнение, что 300 миллионов записей "открывать" нехорошо и неправильно. И что Вам даст просмотр унылой картины из миллиарда строк? Вам же нужны отчетные данные, а они получается через запрос, как и сказал DS.

ЗЫ. Дружеский совет: забейте. Лучше занимайтесь основной работой. Если в Вашей конторе сидят жмоты, то почему у Вас должна болеть голова?
12 май 09, 00:47    [7167736]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
я вас понял, ребят.
Но что касается запросов, то я в принципе отчетные данные получаю именно из запросов. Хотя в данном случае основной инструмент, которым я пользуюсь - это сводная таблица.
Однако, из-за количества записей стали работать медленно и запросы и сводная таблица. Даже простые запросы, где не может быть проблем с неправильным построением, работают медленно.
Насчет жмотов - согласен. Но от этого мне не легче. Хотя мои БД мне сильно облегчают труд.
А в данном случае проблема для меня останется нерешенной. И впринципе, воспользуюсь советом и по данной просьбе пошлю их. Пусть ищут программиста. Лично меня не интересует анализ данных за все годы по всем объектам.
Спасибо
12 май 09, 00:54    [7167751]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
skelet
Member [заблокирован]

Откуда: moskau
Сообщений: 5549
Srg999

Впринципе, вопрос о скорости запросов не стоит. Как я говорил, они работают моментально при количестве до 100 тыс, что было достаточно.
Вопрос стоит в том, что даже без запросов сама таблица с количеством записей в 300 млн открывается целую минуту. И это на моем домашнем компе, который далеко не самый слабый (хотя покупался 1,5 или 2 года назад, точно не помню). Процессор Кор2Дуо, оперативки 8Гб. Соответственно, это либо акс уже не тянет такое количество записей либо железа недостаточно.
Я сталкиваюсь с такой проблемой впервые, поэтому и спрашиваю. Что влиет на скорость открытия таблицы? Например, любая самая современная игра у меня идет на максимальном разрешении без проблем

железо у вас совсем не при чём. Дело в софте, а именно в аксесе.

Для сравнения: у меня на примерно таком же компе (квад q6600 + 8гб оперы) вертятся 4 виртуалки, на 2-х из них по 2 инстанса оракла (1+asm) и всё это объединено в кластер (RAC).

Однако если я буду делать запросы типа select * from tname , где в tname будет 300млн записей, понятное дело этот запрос будет выполняться медленно (тормозить)
12 май 09, 08:40    [7167972]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Andrey Ts
Member

Откуда: С-Пб
Сообщений: 516
AAron
случай на самом деле тяжелый.
1. нужен нормальный сервер СУБД. в этом случае лучше и проще привязаться к SQL Server 2008 (использовать ли ADP?), мигрировать туда все содержимое из Access.

Присоединяюсь к рекомендации. ИМХО, вам будет проще.
Не помню точно, но кажется, можно даже Access перенастроить, чтобы запросы того же приложения уходили сразу на MS SQL.
12 май 09, 09:27    [7168113]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
londinium
Member

Откуда: Киев
Сообщений: 1202
Уважаю автора. У меня телефонный треп в конторе гораздо меньших размеров. Учет тоже строился на Access/Excel, но потом автор этой схемы ушел, и для себя перевел все на SQL Server 2000. Все прекрасно работает, правда записей не миллиард.
12 май 09, 10:48    [7168490]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Access denied1
Guest
Интересно, как в access затолкали 300 000 000 записей?
mdb/accdb - не резиновый, 2Gb макс размер.

автор
Меня попросили объединить все БД,
Что, прилинковали таблицы из нескольких баз и сделали UNION?

А где один миллиард, там и два, того гляди int32 переполнится
12 май 09, 11:59    [7168998]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Кифирчик
Member

Откуда: СПб
Сообщений: 939
в топку аксес...
проще всего будет перскочить на MSSQL (Express для начала), очень простая миграция, и, можно также прилинковать эти таблицы к аксесу... будет для вас привычно. Вы не сказали размер базы... с Express можно упереться в объёмы, правда как выход либо купить полную версию, либо делать на каждый год под отдельной базе.
Также можно посмотреть в сторону MySQL, FireBird и.т.д. наверно побыстрее MSSQL может получиться.
И что там у вас на компе с дисковой подсистемой?
12 май 09, 13:19    [7169483]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Senya_L
Member

Откуда: Москва
Сообщений: 5381
Кифирчик и Ко.,

Вы топик читаете вообще? Автор решил забить болт и правильно сделал. На энтузиазме можно для себя Access поучить, а за спасибо сделать ИС и осваивать СУБД - нехрен баловать.
12 май 09, 14:40    [7170015]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Кифирчик
Member

Откуда: СПб
Сообщений: 939
Senya_L,
Ситуации разные конечно бывают, болт так болт, хозяин барин...

по энтузиазму... если бы не мой "энтузиазм", сейчас до сих пор бы бегал и устанавливал виндовсы. ИМХО плохо когда он ваще заканчивается.
другое дело, что бывает голый энтузиазм, который у адекватных людей очень быстро проходит, тут конечно болт и "пусть ищут программиста"
12 май 09, 15:01    [7170125]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
Access denied1
Интересно, как в access затолкали 300 000 000 записей?
mdb/accdb - не резиновый, 2Gb макс размер.

автор
Меня попросили объединить все БД,
Что, прилинковали таблицы из нескольких баз и сделали UNION?

А где один миллиард, там и два, того гляди int32 переполнится


Вы абсолютно правы. Так и сделал. Других вариантов и нет. Или я их не знаю. Я сказал, что я объединил записи, но назвал этот запрос таблицей. Думаю, что как раз в этом и проблема. Union от такого количества записей, наверное, так и должен тормозить. Просто я считал юнион обычным запросом, из-за которого тормозить не должно.
В общем, пошли они нафиг. Я уже понял, что зря с этим связался. Я аксес начал изучать всего несколько месяцев назад, а тут такие задачи просят решать. пипец.
На эту задачу я точно болт забью. Так как уже понял, что мне ее не решить. А если и решить, то явно не при моем нынешнем уровне, а когда-нибудь в лучшие времена. Тут реально нужен толковый программист, а не чайник типа меня, который считал, что запрос UNION то же самое что и таблица. смешно.
12 май 09, 22:34    [7172198]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Senya_L
Member

Откуда: Москва
Сообщений: 5381
Srg999
А все-таки можно и посоветовать и полезное. Попробуйте собрать промежуточную статистику на местах. Мне трудно советовать конкретику (деталей здесь не обсуждали), но если нужна отчетная информация, то возможно удасться частично сгруппировать результаты филиала.
12 май 09, 22:39    [7172206]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Funny_Falcon
Member

Откуда:
Сообщений: 447
PostgreSQL : наследование с партицированием (перенос данных в партиции периодически запускаемым скриптом ).
13 май 09, 02:16    [7172521]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
сотни миллионов записей в Access ? Очень похоже на это
13 май 09, 13:23    [7174555]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
Зайцев Фёдор
сотни миллионов записей в Access ? Очень похоже на это


вроде того. весело получается.
13 май 09, 14:21    [7175018]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
Funny_Falcon
PostgreSQL : наследование с партицированием (перенос данных в партиции периодически запускаемым скриптом ).


пока что для меня это дремучий лес. Но по крайней мере я про это почитаю. Глядишь, как аксес, затянет. Спасибо!
13 май 09, 14:22    [7175025]     Ответить | Цитировать Сообщить модератору
 Re: Миллиард записей. Какая БД потянет?  [new]
Srg999
Member

Откуда:
Сообщений: 607
Senya_L
Srg999
А все-таки можно и посоветовать и полезное. Попробуйте собрать промежуточную статистику на местах. Мне трудно советовать конкретику (деталей здесь не обсуждали), но если нужна отчетная информация, то возможно удасться частично сгруппировать результаты филиала.


а вот этот вариант похож на правду. почему я не подумал о нем? чайник потому что.
а похож он на правду не потому, что он самый лучший или единственный, а потому, что его в принципе я смогу и реализовать при желании. Действительно, зачем объединять базы за все месяца, когда проще унифицировать и объединить отчеты. Блин, а это идея. вот чайник, сразу не подумал.
Спасибо Вам огромное за хороший совет! Я уже хотел всех нах послать, а тут появилась возможность мне самому реализовать, как даже самому захотелось попробовать.
А что касается других советов на форуме, то за них тоже спасибо всем, так как я уже читаю и о OLAP-инструментарии и о PostgreSQL вот уже ищу информацию и т.д. В общем, почитаю в любом случае, вредно не будет.

А вообще, буду очень благодарен, если кинете хорошую ссылку, где бы можно было посмотреть подробное сравнение всех имеющихся баз данных. Потому что хочется представлять общую картину. Может я начну осваивать другую БД.
13 май 09, 14:28    [7175092]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить