Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 SQL-Express vs Python - скорость?  [new]
Shakusa
Member

Откуда:
Сообщений: 55
Здравствуйте.

Есть задача - анализировать отчетность. База обновляется не часто, значений около 40 000 000 строк. Основная вычислительная нагрузка - суммирование строк с фильтрацией значений.

Вопрос: если делать такую задачу на python, насколько будет отличаться скорость? Опыта работы с ним нет, хочется услышать мнение опытных людей.

Подробнее:

Надо суммировать строки отчетности типа

организация | номер счета | значение

по формулам типа

сумма значений счетов из Y по организациям из X, где X,Y - наборы значений порядка 2000 позиций

Иногда в формулах используется сальдо счетов (значение добавляется в сумму только если разность пары счетов положительна).

В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД
19 авг 20, 16:39    [22184588]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

Раз опыта работы нет - отойди и ничего не трогай. Надоело обновлять табличку в экселе -
поставь галочки "связанные данные" и "автоматическое обновление при открытии".

Posted via ActualForum NNTP Server 1.5

19 авг 20, 16:42    [22184591]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
Shakusa
Member

Откуда:
Сообщений: 55
Dimitry Sibiryakov,

диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python.
19 авг 20, 17:42    [22184620]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

Проще вести в языке, с которым ты незнаком? Извини, не поверю.

Posted via ActualForum NNTP Server 1.5

19 авг 20, 18:14    [22184640]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
hVostt
Member

Откуда:
Сообщений: 19317
Shakusa
питон перенести, там вроде есть какие-то возможности, аналогичные БД


+
Картинка с другого сайта.


Сообщение было отредактировано: 8 сен 20, 15:48
20 авг 20, 00:47    [22184727]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 515
Shakusa

В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД

в питоне есть фреймворк pandas, он заменить sql логику сможет, но это имеет смысл лишь пока данные влазят в память. большие датасеты они рекомендуют процесить в sql.
23 авг 20, 19:32    [22185977]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 2337
Shakusa
если делать такую задачу на python, насколько будет отличаться скорость?


Если там не какой-нибудь numpy и пр. сишные биндинги, то пистон довольно тормозной.
24 авг 20, 04:25    [22186106]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
Хливкие Шорьки
Member

Откуда:
Сообщений: 37
Shakusa
Dimitry Sibiryakov,

диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python.

В Excel есть VBA (а в VBA есть ADO/OLEDB), в SQL Express есть T-SQL. Имхо, лучше воспользоваться этими средствами (предпочтительно T-SQL), чем городить огород на чём-то третьем.

Сообщение было отредактировано: 24 авг 20, 05:06
24 авг 20, 05:08    [22186108]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
Shakusa
Member

Откуда:
Сообщений: 55
Спасибо огромное за содержательные ответы! Теперь стало гораздо понятнее.
7 сен 20, 18:39    [22193174]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
mad_nazgul
Member

Откуда:
Сообщений: 5688
Shakusa
Здравствуйте.


В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД


Hadoop ?!

<:o)
8 сен 20, 06:23    [22193301]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35143
Блог
mad_nazgul,

о да, для 40 млн строк самое то!
8 сен 20, 14:21    [22193618]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
mad_nazgul
Member

Откуда:
Сообщений: 5688
Критик
mad_nazgul,

о да, для 40 млн строк самое то!


А какая разница?
Можно и на тысячи записей делать. :-)
<:o)
9 сен 20, 06:26    [22193944]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
vikkiv
Member

Откуда: EU
Сообщений: 2955
Python + PySpark с его DataFrame API (где на заднем плане локальнoe подобие Spark: Hadoop + Hive) в формате parquet
Работа с ним напр. в Visual Studio Code , + Jupyter / Ipykernel
А там уже по желанию и Pandas и Numpy и много чего для визуализации,
да хоть в Excel файлы результаты конвертировать для удобства пользователей туда и обратно..
1 фев 21, 10:46    [22272310]     Ответить | Цитировать Сообщить модератору
 Re: SQL-Express vs Python - скорость?  [new]
MX-9
Member

Откуда: LIBAVA
Сообщений: 523
Shakusa,
Мы слегка доработали связь ексцел с базой данных.
Теперь он быстро считает-фильтрует базар на 40 миллионов строк.
Выводит порциями или итоги.
Свободно на гитхабе. Поможем.
https://github.com/mx-alex/MX
===========
14 фев 21, 00:34    [22280669]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить