Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Обработка больших данных локально: MS Access vs MySQL  [new]
general.
Member

Откуда:
Сообщений: 5
Привет завсегдатаям форума!

Подскажите, пожалуйста, как лучше поступить в моей ситуации.

Есть достаточно большие массивы данных - 5 таблиц по 8-10 полей и по 300 000 - 500 000 строк данных (таблицы по биохим. соединениям).

Прежде чем выкладывать в сеть (а оно лежит в MySQL), мы над ними производим разные хитрые действия (всяческие UPDATE ... INNER JOIN .. ON ... SET .. WHERE и тому подобные). Все это мы делаем локально в MS Access. Выполнение этих операций занимает несколько часов: обычно в Access запускаем скрипт на ночь, а когда утром приходим в институт - то все готово. После чего результат импортируем в MySQL.

У коллег возникло предложение все это обрабатывать с помощью PHP+MySQL.

Как вы думаете:

1. Навскидку, будет ли быстрее?

2. Для PHP, Апача - это не проблема в течение нескольких часов обрабатывать один тяжелый скрипт?
22 окт 08, 22:27    [6343369]     Ответить | Цитировать Сообщить модератору
 Re: Обработка больших данных локально: MS Access vs MySQL  [new]
Yo.!
Guest
1. наверника, оптимизатор в mysql понавороченей.
2. в php.ini был какой-то параметр который определял сколько скрипт может работать, а апач чтоб запустить скрипт совершенно не нужен.
22 окт 08, 23:36    [6343538]     Ответить | Цитировать Сообщить модератору
 Re: Обработка больших данных локально: MS Access vs MySQL  [new]
Кифирчик
Member

Откуда: СПб
Сообщений: 939
на вскидку, ИМХО кажется, что будет mySQL быстрее... надо пробовать
но "объективно" есть несколько моментов...
1. в MySQL можно извращаться над индексами, что может значительно поднять скорость запросов, особенно если чё-то джойнить... настраивать на сколько много памяти потреблять и.т.д
2. если MySQL в сети, то возможно, там стоит сервер, то есть комп который производительней чем тот, на котором крутится аксес... ну диски шустрые, много оперативы... ночью его врядли активно используют, можно и моноплизировать все ресурсы для обработки...
3. по сравнения с аксесом, в MySQL, используя возможности написания хранимых процедур, оптимизировать алгоритм обработки данных... (надо было это п.1 ставить)... это может в разы ускорить обработку...
это всё "плюсы" mySQL...

использовать апач... по времени выполнения скриптов, кажется есть определённые ограничения... "до утра" это очень долго...
запускать лучше как-нить по другому... например из IDE... открыл SQL скрипт, Run, и пошёл домой :)
22 окт 08, 23:43    [6343552]     Ответить | Цитировать Сообщить модератору
 Re: Обработка больших данных локально: MS Access vs MySQL  [new]
miksoft
Member

Откуда:
Сообщений: 38919
А зачем тут PHP и, тем более, Апач?
"всяческие UPDATE" вполне можно написать в простом текстовом файле и скормить его MySQL-ю.

Насчет будет ли быстрее - надо смотреть конкретные запросы, таблицы, индексы и т.п. Не на всех видах запросов MySQL быстро работает.
23 окт 08, 10:26    [6344398]     Ответить | Цитировать Сообщить модератору
 Re: Обработка больших данных локально: MS Access vs MySQL  [new]
Хрен
Member

Откуда: Brisbane
Сообщений: 1455
general.,

Вообще то 500к записей не такая уж большая база, чтобы обрабатывать ее всю ночь. Проще уж тогда засосать все данные в память в скрипте, и сделать все что надо в скрипте и потом уже готовые результаты залить в mysql. Уверен будет быстрее и проще..

Какой суммарный обьем данных в гигабайтах?
26 окт 08, 17:54    [6357293]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить