Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5   вперед  Ctrl      все
 MySQL очень медленный  [new]
Garrick
Member

Откуда: Москва
Сообщений: 2999
В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут. Никто не знает как этот MySQL лечить? Или может быть вместо него Oracle XE поставить? Допустимые варианты - PostgreSQL, Oracle, MySQL, MS SQL (нежелательно, но можно). На ноуте 8Гб ОЗУ. Надо ещё IDE запустить, Tomcat и ещё немного разной ерунды по-мелочам.

Сообщение было отредактировано: 7 апр 20, 20:11
7 апр 20, 20:11    [22112519]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8552
Не понятно, при чем тут Java

По опыту, самая частая ошибка из-за которой СУБД встает колом - Auto Commit.

MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях

IMHO & AFAIK
7 апр 20, 22:46    [22112558]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17735
Garrick,

"...Ты просто не умеешь их готовить..."
как ты вставляешь эти крохи данных?
ну и есть отдельная ветка по mysql...

Сообщение было отредактировано: 7 апр 20, 23:11
7 апр 20, 23:11    [22112562]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17735
Garrick,

версия mysql?
7 апр 20, 23:39    [22112569]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8552
Да какая версия. Я в 1999-2000 г. вполне на Pentium с 512 Mb памяти на MySQL пару миллионы строк обрабатывал с откликом меньше десятой секунды.

Правда таблица была простейшая из 3-4 целочисленный полей

p.s. Первая версия вот этой БД http://iss.rybmuseum.ru/
в то время было примерно 90 тыс. предметов, 45 тыс. изображений.
7 апр 20, 23:56    [22112575]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17735
Leonid Kudryavtsev
Да какая версия.
тут дело в том, 5.7 и 8.хх имеют огромную разницу в производительности
8 апр 20, 00:16    [22112580]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Garrick
Member

Откуда: Москва
Сообщений: 2999
вадя
Garrick,

версия mysql?


Последняя 8-я.
8 апр 20, 08:13    [22112618]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Garrick
Member

Откуда: Москва
Сообщений: 2999
вадя
Garrick,

"...Ты просто не умеешь их готовить..."
как ты вставляешь эти крохи данных?
ну и есть отдельная ветка по mysql...

Конечно не умею. Вот я и спрашиваю рецеп. Может чего настроить надо, а у меня всё по дефолту.
8 апр 20, 08:15    [22112619]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Garrick
Member

Откуда: Москва
Сообщений: 2999
Leonid Kudryavtsev

MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях

Сам в шоке. Такая разница... Что-то тут не так.
8 апр 20, 08:16    [22112620]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17735
Garrick,

как вставляешь?
8 апр 20, 10:32    [22112668]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
mad_nazgul
Member

Откуда:
Сообщений: 5288
Garrick
Leonid Kudryavtsev

MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях

Сам в шоке. Такая разница... Что-то тут не так.


По моему опыту сталкивания с MySQL там всегда "что-то не так".
Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы.
Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-)
8 апр 20, 11:48    [22112720]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17735
mad_nazgul
По моему опыту сталкивания с MySQL там всегда "что-то не так".
Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы.
Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-)
надо просто уметь работать с базами. никаких проблем не возникает. работаю с mysql что под линуксом , что под окнами
8 апр 20, 11:57    [22112727]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4832
вадя
Garrick,

версия mysql?

Ты мастер флуда?
30тыр записей вставляет 5 часов.
А ты спросил про версию?
8 апр 20, 12:15    [22112744]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
lleming
Member

Откуда:
Сообщений: 1718
Как вставляем copy paste 100МБ запрос и в рамках одной транзакции все инсерты?


На днях вставлял 10млн mysql8 в докере причем сразу с генерацией 12 полей UUID на все про все около 25сек.
8 апр 20, 12:27    [22112753]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
mayton
Member

Откуда: loopback
Сообщений: 46531
Garrick
В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут.


Стоп-стоп. Это так не делается. Это не фиксится сразу сменой СУБД. Тыж не блондинка?

Идешь в этот форум https://www.sql.ru/forum/mysql

Описываешь проблему. Тебя попросят привести INSERT, DDL-таблички
данные по времени (сколько транзакций в секунду). Примерные сведенья
о железке (HDD/CPU/Memory)

Из поинтов что посмотреть.
- отключить авто-коммит (как уже сказаали)
- отключить индексы на время загрузки
- отключить триггеры
- поиграть с двигателем (MYiSAM/InnoDb) обычно перформанс меняется сильно от смены.
- посмотреть какие типы данных можно заменить на экономные BLOB/XML/JSON просто на VARCHAR
- выключить Windows-активности (антивирус и индексатор документов)
- разнести конкурирующие разделы (сегмент данных БД и исходный файл) на разные физические диски. Или исходный файл в быструю сеть (1Гигабит).

И правильно выбрать утилиту загрузки. Обычно все (!) реально все современные DBMS имеют тулзы
для быстрой загрузки CSV/SQL сырых данных из внешнего файла. Есть рекомендации по форматированию
самого скрипта. В PG/MySQL есть много-строчное форматирование (1 insert + много values).

Это уже в спецфорум.
8 апр 20, 12:42    [22112767]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Zzz79
Member

Откуда:
Сообщений: 168
mayton


И правильно выбрать утилиту загрузки. Обычно все (!) реально все современные DBMS имеют тулзы
для быстрой загрузки CSV/SQL сырых данных из внешнего файла. Есть рекомендации по форматированию
самого скрипта. В PG/MySQL есть много-строчное форматирование (1 insert + много values).

Это уже в спецфорум.

для этого есть целый фреймворк spring batch

автор может выгружать файлы и простейшая прога их скушает и выгрузить куда покажет

могу написать такую за много бутылок виски))
8 апр 20, 20:05    [22113072]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
mayton
Member

Откуда: loopback
Сообщений: 46531
Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа

$ mysqlimport .....
8 апр 20, 20:08    [22113073]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Zzz79
Member

Откуда:
Сообщений: 168
mayton
Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа

$ mysqlimport .....

ну ты от жизни то отстал брат)
какой такой mysql import))
8 апр 20, 20:12    [22113075]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4832
Zzz79
ну ты от жизни то отстал брат)
а ты всё в облаках...cloud foundry)))
8 апр 20, 20:22    [22113082]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Zzz79
Member

Откуда:
Сообщений: 168
PetroNotC Sharp,
типо того)щас все так построено в приложухах консул ваулт ,тимсити и комунда по дефолту уже
8 апр 20, 20:33    [22113092]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4832
Zzz79
PetroNotC Sharp,
типо того)щас все так построено в приложухах консул ваулт ,тимсити и комунда по дефолту уже
ну это у тебя конкретно.
Если выглянуть в окно, то там вполне всё по другому.
Утилиты, десктопы и ...моя хата с краю..
8 апр 20, 20:40    [22113101]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
mayton
Member

Откуда: loopback
Сообщений: 46531
Zzz79
mayton
Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа

$ mysqlimport .....

ну ты от жизни то отстал брат)
какой такой mysql import))

Хочешь побольше бабла срубить?
8 апр 20, 20:42    [22113103]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Zzz79
Member

Откуда:
Сообщений: 168
PetroNotC Sharp,там все одинаково давно) доходит до того что ты можешь со сбера сделать ctrl+c и положтить в втб поменяв дто и маперы)

жизнь скучна- все уже написано,с нуля пишут только фриланс проекты за 500 р в месяц)

ты понимаешь в чем засадада современного программированияя - тотальный копипаст


мне тут сегодня дали задачу - суть которой свелась к тому что был в стриме фильтр фильтровал не по одному значению а по двум)
выглядело это примерно так

filter(SOME_FUCKIN_SHIT::equals)


а стало вот так
SOME_FUKIN_SHITS::contains


и это был огразм) так как ты применил свои знания джавы)
8 апр 20, 20:58    [22113118]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
Zzz79
Member

Откуда:
Сообщений: 168
mayton
Zzz79
пропущено...

ну ты от жизни то отстал брат)
какой такой mysql import))

Хочешь побольше бабла срубить?

кто ж мне его даст)
8 апр 20, 20:59    [22113121]     Ответить | Цитировать Сообщить модератору
 Re: MySQL очень медленный  [new]
mayton
Member

Откуда: loopback
Сообщений: 46531
Пфф... тоже мне оргазм.
8 апр 20, 21:01    [22113124]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4 5   вперед  Ctrl      все
Все форумы / Java Ответить