Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Большие таблицы, > 5млн записей  [new]
smail
Member

Откуда:
Сообщений: 60
что лучше подойдет для таблиц с объемом более 5млн записей и большим размером.
mysql начинает явно тормозить на этом или это у меня что-то не так?
19 сен 03, 00:52    [345113]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
Серега
Member

Откуда:
Сообщений: 887
2smail
>что лучше подойдет для таблиц с объемом более 5млн записей и большим размером.

Аспирин.
Или более полное описание симптомов и желаемого результата. 8-)
19 сен 03, 09:55    [345299]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
funikovyuri
Member

Откуда: Симферополь
Сообщений: 4045
меня что-то не так?
скорее всего
19 сен 03, 10:01    [345304]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
To: smail

Создал таблицу с 5 000 000 000 записей на FoxPro - не тормозит. А что это за число такое 5 000 000 000 ? Если это продажи, то их лучше спрятать в архив ну а если что-то важное и секретное то было бы интересно узнать - о чем эта задача и дать совет, как избежать такого большого количества записей...

С уважением.
20 сен 03, 01:21    [346735]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
smail
Member

Откуда:
Сообщений: 60
Всего то записей 5 000 000
select count(tid) from c_info where n=218 and time>=XXXXXX
Длится секунд 30 на загруженном сервере, когда идут и Update
И секунд 12 в свободном.
Результат этого зхапроса 12000

Все это данные о посещаемости сайта за весь период и они постоянно растут.
20 сен 03, 06:42    [346785]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
Хрен
Member

Откуда: Brisbane
Сообщений: 1455
покажи explain этого запроса. На самом деле 5 миллионов - небольшая цифра для mysql
21 сен 03, 00:02    [346995]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
To: smail

Да, странно все это... Должно работать быстрее (даже на FoxPro), а нельзя ли записи скидывать в архив и держать только для 1 месяца в оперативном учете или что-то в таком роде? Или сменить сервер на более мощный?

У нас есть подобная задача (правда на FoxPro) - мы пишем с каких IP адресов, какое сообщение и когда смотрели в форуме, но у нас пока всего около 1 млн. записей - вставка вообще не занимет время, статистика - доля секунды, но сервер наш не очень загружен... пока...
21 сен 03, 02:13    [347019]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
smail
Member

Откуда:
Сообщений: 60
mysql> select count(tid) from c_info where n=218 and time>=43847466;
+------------+
| count(tid) |
+------------+
| 12404 |
+------------+
1 row in set (10.81 sec)

mysql> explain select count(tid) from c_info where n=218 and time>=43847466
;
+---------+------+---------------+-------+---------+-------+-------+-------------+
| table | type | possible_keys | key | key_len | ref | rows | Extra |
+---------+------+---------------+-------+---------+-------+-------+-------------+
| c_info | ref | time,n | n | 3 | const | 14669 | Using where |
+---------+------+---------------+-------+---------+-------+-------+-------------+
1 row in set (0.00 sec)
21 сен 03, 10:31    [347046]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
Victor Am
Member

Откуда:
Сообщений: 92
Если поможет:
У нас SYBASE ASA, в тестовой таблице 4,6 млн записей, max.table width =425 bytes.
Запрос по таблице в условием WHERE выполняется достаточно долго (секунды - десятки секунд), т.к. происходит полный перебор данных.
Наличие индекса(ов) по колонкам, присутствующим в WHERE решает проблемму (десятые доли секунды).
23 сен 03, 16:31    [349772]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
Хрен
Member

Откуда: Brisbane
Сообщений: 1455
А по tid есть индекс?

дело в том, что count(tid) должен посчитать только те значения tid, которые не NULL.

Так как есть у тебя., сервер вынужден ограничить по n (с помощью индекса) выборку (получается 14669 записей) и потом их просматривать по одному, чтобы посчитать не NULL значения в tid.

То есть, первым делом, я бы попробовал создать индекс по tid и изменить запрос, типа

select count(*) from c_info where n=218 and time>=43847466 and tid is not null
23 сен 03, 23:57    [350164]     Ответить | Цитировать Сообщить модератору
 Re: Большие таблицы, > 5млн записей  [new]
alex_24
Member

Откуда:
Сообщений: 190
Что то очень медленно запросы выполняются.
Что с индексами?
Функция COUNT() вообще то опримизирована в MySQL для очень быстрого ответа без условий разных там.
Но как я думаю что и при условиях пробежаться по листовым вершинам индекса ничего тормознутого не будет.
По крайней мере раза в 3 можно ускорить селект.
А насколько большая таблица по весу?
6 окт 03, 00:19    [364258]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить