Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 300 000 000 записей это много или мало?  [new]
FreddieM
Member

Откуда:
Сообщений: 27
Необходимо спроектировать систему, в которой такое возможно. Но скорее всего это будет в одной таблице или двух, выборка по row guid. Имеет ли смысл вообще с реляционной СУБД в таком случае связываться?
18 апр 12, 20:48    [12435734]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
invm
Member

Откуда: Москва
Сообщений: 9836
Много или мало для чего?
18 апр 12, 20:52    [12435750]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31978
FreddieM
Необходимо спроектировать систему, в которой такое возможно. Но скорее всего это будет в одной таблице или двух, выборка по row guid. Имеет ли смысл вообще с реляционной СУБД в таком случае связываться?
У нас каждый час в 10 раз больше вставляется, и не на одном сервере :-)

На такой вопрос трудно ответить без знания деталей.

Понятно, что хранить столько строк может любая субд, работающая на персоналке (винты терабайтные давно ширпотреб), вопрос-то в операциях с данными (вставки, модификации, выборки).
18 апр 12, 21:07    [12435812]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
SomewhereSomehow
Member

Откуда: Moscow
Сообщений: 2480
Блог
FreddieM,

Сколько места занимает каждая запись? Какая модель работы предполагается, чтение, запись? Насколько интенсивно? Какое железо есть в наличии? Какая дисковая подсистема? Все это зависит...

FreddieM
Имеет ли смысл вообще с реляционной СУБД в таком случае связываться?

А вот это уже интересно. Что в итоге вы собираетесь делать с этими данными, если задались вопросом о необходимости БД в принципе? А то счас тут насоветуют, а окажется что вам просто нужно их записывать без анализа, или делать очень специфичный анализ и т.д. Например, у меня недавно была разовая задача, проанализировать около 500 МБ текста (овер дофига строк), найти вхождения подстрок, и от этих мест взять другую подстроку с наименьшей дистанцией. Так зачем мне в этом случае насиловать сервер, что туда загружая и т.д. все решилось прикладной программой на c#, которая к моему удивлению сжевала все это меньше чем за полминуты на моей не самой мощной машине.
Так что, уточняйте, что именно нужно и зачем.
18 апр 12, 21:15    [12435844]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
FreddieM
Member

Откуда:
Сообщений: 27
Согласен, попытаюсь объяснить... 
Это будет лог выполненных операций по которым нужна будет аналитика - не сложная скорее всего, например, количество операций 
одного типа за определенный промежуток времени.
Сценарий работы следующий
1. Insert новой операции
2. Select по идентивикатору (guid)
3. Update по идентификатору (guid), возможно несколько
4. После последнего апдейта операция нужна будет только для аналитики.
В год будет не меньше 160 000 000 операций.

Имеет ли смысл создавать отдельную таблицу/базу/сервер для не выполненных операций? Какова будет производительность РСУБД с таким количеством записей? Имеется ли необходимость в каком-то серьезном железе?
19 апр 12, 08:43    [12436916]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
Anatoly Podgoretsky
Member

Откуда:
Сообщений: 62908
Данных, в том числе по предметной области недостаточно.
Вопрос про таблицу интересный, ты что собираешься писать в произвольную таблицы что ли?
19 апр 12, 08:48    [12436931]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
Anatoly Podgoretsky
Member

Откуда:
Сообщений: 62908
Производительность - одна запись в результате запросе это одно, 300 000 000 это совсем другое. Запись с простой аналитикой тоже одно, а со сложной совсем другое.
19 апр 12, 08:50    [12436934]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
iljy
Member

Откуда:
Сообщений: 8711
FreddieM,

это гадание на кофейной гуще. Сделайте себе тестовую базу и погоняйте ожидаемую нагрузку.
19 апр 12, 09:43    [12437205]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31978
FreddieM
Согласен, попытаюсь объяснить... 
Это будет лог выполненных операций по которым нужна будет аналитика - не сложная скорее всего, например, количество операций 
одного типа за определенный промежуток времени.
Сценарий работы следующий
1. Insert новой операции
2. Select по идентивикатору (guid)
3. Update по идентификатору (guid), возможно несколько
4. После последнего апдейта операция нужна будет только для аналитики.
В год будет не меньше 160 000 000 операций.

Имеет ли смысл создавать отдельную таблицу/базу/сервер для не выполненных операций? Какова будет производительность РСУБД с таким количеством записей? Имеется ли необходимость в каком-то серьезном железе?
В принципе ничего сверхестественного, если операции 2 3 4 делаются только по последним данным.

Трудно только оценить нагррузку от аналитики, если она будет объёмная, то и нагрузка может быть большая.

Вставлять в существующую базу или сделать отдельную - зависит от того, какая у вас база. Допустим, если вам критична время простоя, то лучьше вынести в отдельную базу.
по отдельному серверу понятно - зависит от нагрузки.
19 апр 12, 11:58    [12438156]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
Александр52
Member

Откуда: Кокосовые острова ส็็็็็
Сообщений: 5136
если все как вы описали - это нормально, при условии что никаких обсчетов с этими данными производиться не будет.
но я бы посоветовал разнести эти данные по нескольким таблицам.
19 апр 12, 12:18    [12438289]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
FreddieM
Member

Откуда:
Сообщений: 27
Всем спасибо. Буду копать дальше...
20 апр 12, 19:10    [12448066]     Ответить | Цитировать Сообщить модератору
 Re: 300 000 000 записей это много или мало?  [new]
NoLock
Member

Откуда: левый верний угол
Сообщений: 90
Посмотрел на большие таблицы в своих базах данных; одна из таблиц (а их всего около 500) - 200000000 записей... за месяц...
Строка не большая, 10 вещественных, дата, первичный и пара внешних ключей. Секционированная по дням. Но обновлений не бывает.
Железо - хорошее, особенно дисковая система. Нагрузка может быть в несколько раз (3-5) больше. Считайте сами...
20 апр 12, 20:54    [12448433]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить