Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 10 млн записей это много? :-)  [new]
Алексей;
Guest
Господа, хочу импортировать логи веб-сервера в БД для создания детальных отчетов. В качестве теста залил логи за этот год - получил таблицу в 1+ млн записей, отчеты скорее всего потребуются также и за прошлый год, т.е. еще 7-9 млн. записей туда же. Вопрос - не будет ли серверу плохо? :-D

Заливка идет целиком и в одну таблицу и ни о каком "разбиении" речи не идет... расчеты будут уже строиться на основании этой таблицы...

Спасибо за мнения
25 фев 04, 19:13    [551322]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Неа. Децкие размеры. При наличии вменяемых логов никто ничего не заметит. У мя одна таблица для отчетности уже за 20 лимонов перевалила, а никто об этом и не знал :)
25 фев 04, 19:19    [551332]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Scalder
Guest
Для сервера - нормально, для рабочей станции - что-то около разумного предела... (хотя он определяеться только скоростью...)
25 фев 04, 20:56    [551404]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Разумный предел будет определяться объемом одновременно потребного куска этой таблицы и индексами на нее.
25 фев 04, 21:15    [551418]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Алексей;
Guest
блин. экспортировал данные... решил добавить дополнительное поле с автоикриментом как праймэрикий... выполняется уже 20 минут
27 фев 04, 16:28    [555137]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
www.perlscript.ru
Member

Откуда: Москва
Сообщений: 344
А так что-ж ты хотел...
27 фев 04, 16:31    [555148]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Crimean
Member

Откуда:
Сообщений: 13148
А чего ты хотел? Ему надо добавить поле, заполнить его значением и сохранить все это и так для ... сколько у тебя там записей?
Главное , чтобы логу места хватило.
27 фев 04, 16:35    [555163]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Алексей;
Guest
- Unable to modify table.
ODBC error: [Microsoft][ODBC SQL Server Driver][SQL Server]The log file for database 'IntranetStatistics' is full. Back up the transaction log for the database to free up some log space.

:-)))
27 фев 04, 16:45    [555199]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Алексей;
Guest
8.000.000 records
27 фев 04, 16:46    [555202]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
Не хватило. Делай по частям. Создавай таблицу нужной структуры и частями переливай данные, чистя в промежутках лог. Потом старую таблицу удаляй (почястям), а новую переименуй в старую. Ну или иши место для лога.
27 фев 04, 17:00    [555235]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Старую просто drop table и все
А на время операции рекавери модель в симпл поставить
Про бакапы молчу
27 фев 04, 17:16    [555296]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Алексей;
Guest
да... промашку дал, это у меня тестовый сервак, я и незаметил что этот экспорт мне базу в 4 гига плюс такой же лог забахал - сделал шринк

еще такой вопрос непрофессионала - select count(*) на этой таблице выполняется 35 сек - поможет ли создание доп.поля с праймэрикием ускорить это?
27 фев 04, 17:29    [555329]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
McMurfy
Member

Откуда: Киев
Сообщений: 474
>>еще такой вопрос непрофессионала - select count(*) на этой таблице выполняется 35 сек - поможет ли создание доп.поля с праймэрикием ускорить это?

ИМХО без разницы, считать записи с ключем или без него.
27 фев 04, 18:10    [555419]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Создание индекса может ускорить COUNT(*)
Table Scan vs Index Scan
Намекаю - индекс физически меньше таблицы
27 фев 04, 19:06    [555495]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Glory
Member

Откуда:
Сообщений: 104760
http://www.firststeps.ru/sql/sql1.html
27 фев 04, 19:14    [555521]     Ответить | Цитировать Сообщить модератору
 Re: 10 млн записей это много? :-)  [new]
Qq
Member

Откуда: Санкт-Петербург
Сообщений: 102
Это не много. Просто надо немножко заморочится и все будет ок. ТОесть не используй одну таблицу, создай полноценный варехаус, затем создай пару файлов с данными и размести их на разных дисках(прочти руководство по созданию высокопроизводительных баз данных), используй таким образом параллельный ввод/вывод.....и тогда .... хм можно очень большие логи сохранять и обрабатывать, не забывай про ПРАВИЛЬНОЕ создание индексов.

И имей ввиду, что один из главных затыков...это зачастую не процессор, а память и подсистема ввода вывода.
28 фев 04, 14:54    [555819]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить