Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 9651
skyANA

...
Просто человек думает, что итак понятно, что речь о том, что в итоге будет некое standalone приложение, что где-то локально хранит свои данные.

Очередной человек который хочет на HTML и Browser'е делать standalone?...

мне кажется, такое в этом форуме уже было )))
2 ноя 20, 18:49    [22225222]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 28355
Leonid Kudryavtsev
skyANA

...
Просто человек думает, что итак понятно, что речь о том, что в итоге будет некое standalone приложение, что где-то локально хранит свои данные.

Очередной человек который хочет на HTML и Browser'е делать standalone?...

Пока не понятно то, чего он хочет.
2 ноя 20, 18:51    [22225223]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 28355
kompospec
skyANA
kompospec,

например вот: Standalone application with Electron, React, and SQLite stack.

На чём, кроме PHP, вы программу-то свою написать сможете?


js, pyton, c++, java

Мне в принципе всё равно на каком языке. Важно чтоб это сработало с 10 миллионами строк, например.

То миллион, то миллион шестьсот, то уже 10 миллионов.
И главное так и не сказано, что конкретно приложение с ними будет делать...

Какое-то дополнение, какая-то сортировка, какая-то группировка обязательно сработают
2 ноя 20, 18:54    [22225226]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
Ок. Человек очень хочет выиграть в лотерею. У него есть текстовый файл с выигрышами. С этого файла генерируются различные комбинации цифр - по 30 тысяч записей-вариантов на каждый день начиная с 2018 года.

Эти данные укладываются в Базу. См. образец в 1 сообщении. Причём там важны только цифры и дата.

База создана.

Нужно просто отсортировать её по количеству повторений.

Всё сделано на php mySQL Но свыше миллиона записей - начинает тормозить существенно. А записей будет больше 10 миллионов

Теперь вам всё понятно?

Адрес человека и лотереи - дать не могу, к сожалению.
2 ноя 20, 19:02    [22225230]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
kompospec
Ок. Человек очень хочет выиграть в лотерею. У него есть текстовый файл с выигрышами. С этого файла генерируются различные комбинации цифр - по 30 тысяч записей-вариантов на каждый день начиная с 2018 года.

Эти данные укладываются в Базу. См. образец в 1 сообщении. Причём там важны только цифры и дата.

База создана.

Нужно просто отсортировать её по количеству повторений.

Всё сделано на php mySQL Но свыше миллиона записей - начинает тормозить существенно. А записей будет больше 10 миллионов

Теперь вам всё понятно?

Адрес человека и лотереи - дать не могу, к сожалению.


Каждый день приходит новая порция данных в 30 тысяч.
2 ноя 20, 19:03    [22225231]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

kompospec
Если я вас правильно понял - и у mySQL, и у sqLite есть специальные варианты для моего случая?
И мене не придётся ставить sqLite на чужом компьютере?

Да. Осталась сущая мелочь: немного погуглить и почитать документацию.

Posted via ActualForum NNTP Server 1.5

2 ноя 20, 19:04    [22225233]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
kompospec
kompospec
Ок. Человек очень хочет выиграть в лотерею. У него есть текстовый файл с выигрышами. С этого файла генерируются различные комбинации цифр - по 30 тысяч записей-вариантов на каждый день начиная с 2018 года.

Эти данные укладываются в Базу. См. образец в 1 сообщении. Причём там важны только цифры и дата.

База создана.

Нужно просто отсортировать её по количеству повторений.

Всё сделано на php mySQL Но свыше миллиона записей - начинает тормозить существенно. А записей будет больше 10 миллионов

Теперь вам всё понятно?

Адрес человека и лотереи - дать не могу, к сожалению.


Каждый день приходит новая порция данных в 30 тысяч.


Человек решил что раз на хостинге такие тормоза - то на его супер-пупер компе - всё будет летать.
Поэтому с хостинга плавно едим на Локаль.
Но у человека нет ни Мускулов, ни Апачей.
2 ноя 20, 19:07    [22225236]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
Dimitry Sibiryakov

kompospec
Если я вас правильно понял - и у mySQL, и у sqLite есть специальные варианты для моего случая?
И мене не придётся ставить sqLite на чужом компьютере?

Да. Осталась сущая мелочь: немного погуглить и почитать документацию.


Что такое тогда IndexedDB - оно вообще не нужно? Написано что есть в любом браузере.

Спасибо.
2 ноя 20, 19:08    [22225237]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

kompospec
Что такое тогда IndexedDB - оно вообще не нужно?

Кривое баловство. Как и всё, что "есть в браузере".

Posted via ActualForum NNTP Server 1.5

2 ноя 20, 19:18    [22225240]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
Dimitry Sibiryakov

kompospec
Что такое тогда IndexedDB - оно вообще не нужно?

Кривое баловство. Как и всё, что "есть в браузере".


Спасибо.
2 ноя 20, 19:42    [22225252]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
Alibek B.
Member

Откуда:
Сообщений: 3934
kompospec

Человек решил что раз на хостинге такие тормоза - то на его супер-пупер компе - всё будет летать.
Поэтому с хостинга плавно едим на Локаль.
Но у человека нет ни Мускулов, ни Апачей.

У человека прежде всего нет мозгов.
База данных за человека не будет обрабатывать строки.
Поэтому для начала нужно определиться, где (на сервере или на клиенте) и как (от этого зависят требования к СУБД) будут обрабатываться данные.
После этого нужно гуглить "portable|embedded database".
2 ноя 20, 20:20    [22225272]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
pureproft
Member

Откуда:
Сообщений: 686
kompospec

... Нужно просто отсортировать её по количеству повторений.
...
Адрес человека и лотереи - дать не могу, к сожалению.


Если речь про количество повторений, то и нужно хранить только итоговые веса(количество повторений) выпадающих чисел.
Базы данных вам не нужны, вы морочите голову и человеку и нам тут. Вам в другой раздел.
2 ноя 20, 20:42    [22225282]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
pureproft
kompospec

... Нужно просто отсортировать её по количеству повторений.
...
Адрес человека и лотереи - дать не могу, к сожалению.


Если речь про количество повторений, то и нужно хранить только итоговые веса(количество повторений) выпадающих чисел.
Базы данных вам не нужны, вы морочите голову и человеку и нам тут. Вам в другой раздел.


Вероятно, что человеку действительно нужны как вы говорите - итоговые веса

и какой ваш гениальный алгоритм?
2 ноя 20, 21:55    [22225319]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
ъъъъъ
Member

Откуда:
Сообщений: 2114
kompospec
и какой ваш гениальный алгоритм?

Человек открывает любимый сайт, где как-то реализован нужный сервис. И скармливает сайту файл базы, вот как тут: https://sqliteonline.com/
Файлик попадает на сервер и нужным образом обрабатывается. Ничего "ставить" не нужно, кроме веб-браузера.
Для быстрой сортировки 10 млн строк используем, например, индексы.

Или, вместо "сайта", локальное приложение, умеющее работать с локальными СУБД, например - Firebird Embedded. Тоже ничего "ставить" не нужно, носишь всё на флешке. Нужны права на запуск приложений на флешках.
И нужен программист, в обоих случаях.
3 ноя 20, 02:32    [22225428]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
hVostt
Member

Откуда:
Сообщений: 19317
kompospec
Хочу локально работать с БД и переносить её с собой или посылать по почте


MS Access?
3 ноя 20, 03:37    [22225437]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
ъъъъъ
kompospec
и какой ваш гениальный алгоритм?

Человек открывает любимый сайт, где как-то реализован нужный сервис. И скармливает сайту файл базы, вот как тут: https://sqliteonline.com/
Файлик попадает на сервер и нужным образом обрабатывается. Ничего "ставить" не нужно, кроме веб-браузера.
Для быстрой сортировки 10 млн строк используем, например, индексы.

Или, вместо "сайта", локальное приложение, умеющее работать с локальными СУБД, например - Firebird Embedded. Тоже ничего "ставить" не нужно, носишь всё на флешке. Нужны права на запуск приложений на флешках.
И нужен программист, в обоих случаях.


Файлик... - размером в 100МБ

Сообщение было отредактировано: 3 ноя 20, 14:39
3 ноя 20, 14:43    [22225712]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
ъъъъъ
Member

Откуда:
Сообщений: 2114
kompospec,

и что?
3 ноя 20, 20:38    [22225980]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
ъъъъъ
kompospec,

и что?


Ну так гордо выложите решение этой простецкой задачи:

Дано:

Тираж каждый день. Каждый день появляются 20 произвольных цифр от 1 до 99 включительно. Из этих цифр появляется около 40 тысяч вариантов из 6 цифр например: 5_9_62_63_66_69 - цифры собраны в строку - чисто для удобства.


найти:

Все совпадения в цифрах за последнее 3 года. Отсортировать по частоте совпадений.

Жду простое решение на простом "файлике"

Сообщение было отредактировано: 3 ноя 20, 21:26
3 ноя 20, 21:30    [22225994]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 9651
kompospec

Все совпадения в цифрах за последнее 3 года. Отсортировать по частоте совпадений.

Что значит "все совпадения" ? При чем тут и зачем нужны "40 тысяч вариантов" ?

SELECT * FROM (
SELECT hifra, count(*) as cnt FROM table WHERE year >= (2020-3) GROUP BY hifra HAVING count(*)>1
) ORDER BY cnt desc
?
4 ноя 20, 00:03    [22226062]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kompospec
Member

Откуда:
Сообщений: 39
Leonid Kudryavtsev
kompospec

Все совпадения в цифрах за последнее 3 года. Отсортировать по частоте совпадений.

Что значит "все совпадения" ? При чем тут и зачем нужны "40 тысяч вариантов" ?

SELECT * FROM (
SELECT hifra, count(*) as cnt FROM table WHERE year >= (2020-3) GROUP BY hifra HAVING count(*)>1
) ORDER BY cnt desc
?


Вопрос поставил меня в тупик.
Совпадение... Совпадение это когда в одной строке написано 58_87_54_4_3_6 и в другой строке 58_87_54_4_3_6 ну или теже цифры, но в другом порядке.

Одинаковые циферки.

Запрос ваш я к сожалению не понял. пишите пожалуйста алгоритм решения. Если он есть.

Сообщение было отредактировано: 4 ноя 20, 01:57
4 ноя 20, 01:57    [22226087]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
ъъъъъ
Member

Откуда:
Сообщений: 2114
kompospec
ъъъъъ
kompospec,

и что?


Ну так гордо выложите решение этой простецкой задачи:

...



22225428 - вот тут - недостаточно гордо описано?
Нанимешь программиста, который клещами вытягивает из тебя твои хотелки, и предлагает варианты решения, ты соглашаешься или нанамаешь другого. Если не устроило - смыть, повторить.
4 ноя 20, 03:27    [22226090]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
Да. SQLite - это хороший выбор для БД встроенной в приложение. Можно и отдельно.

По поводу объема.

Вот эта строчка длиной 40 символов (грубо 40 байтов для латиниц)

1627920 	62_68_74_75_80 	28-10-2020-1632


Для 1 600 000 записей это будет грубо 1 600 000 * 40 = 64 000 000

Или 64 мегабайта чистой текстовой информации. База маленькая.
Но я-бы предложил все таки взять аккаунт AWS/GDrive и складывать
базу туда. Тогда появится возможность ее шарить или не беспокоиться
по поводу базы на рабочейстанции на работе или на ноуте дома.

По поводу самих возможностей SQLite. Я не специалист но эта БД
может не на 100% поддерживать диалекты SQL. Некоторые типы
запросов такие как "connect by prior" иерархические могут не поддерживатся
и их надо переписывать как-то изращенно через опцию рекурсии и внешнее
соединение.

Тоесть классическому специалисту по SQL эта DBMS может показаться ограниченной
если он вчера сидел на MSSQL/Oracle.
4 ноя 20, 15:01    [22226261]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
kompospec
skyANA
kompospec,

например вот: Standalone application with Electron, React, and SQLite stack.

На чём, кроме PHP, вы программу-то свою написать сможете?


js, pyton, c++, java

Мне в принципе всё равно на каком языке. Важно чтоб это сработало с 10 миллионами строк, например.

Можно брать Python. Он - наиболее Production-ready и на нем быстрее чем на С++ или JS
можно найти какую-то библиотеку для своих нужд.

С++ - это отдельный челлендж и он никак не вяжется с задачами которые поставил автор в 1 топике.
Просто автору некогда будет искать обще-системные ошибки в то время когда надо очень быстро
(херак-херак) сделать какой-то анализ данных.
4 ноя 20, 15:11    [22226273]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
zeon11
Member

Откуда: Сибирь, Кемерово
Сообщений: 1281
[quot kompospec#22226087]
Leonid Kudryavtsev
пропущено...

......
Совпадение... Совпадение это когда в одной строке написано 58_87_54_4_3_6 и в другой строке 58_87_54_4_3_6 ну или теже цифры, но в другом порядке.

Одинаковые циферки.



Тоже в детстве шерстил в библиотеке подшивки газет за несколько лет с результатами Спортлото. Выписывал, строил столбики,
искал корреляции между числами, завораживает. Целыми днями и вечерами просиживал над своими листочками. Кажется, вот-вот найду секрет. Прогнозировал.Нарисую варианты, и жду тираж следующий. Ладно, ума хватило, деньги не тратить, а так, чисто теоретически. Прям мандраж был. А потом отец дал мне книгу Себастьяна Бранта "Корабль дураков", и сказал почитай, эта книга была написана почти 500 лет назад. Насколько помню, там была глава и про нумерологию. И всё, азарт куда-то пропал.
Бросьте это, только время потеряете.
Ну, а если все-таки хотите, то вот вам некоторые идеи из моих детских наработок.
1. корреляция между двумя числами:
Выстраиваете шахматку чисел по горизонтали и вертикали (наподобие расписания дежурств в школе) и заполняете пересечение чисел количеством выпавших случаев. Забавные рисунки получаются.
2. Корреляция между триадами - аналогично как в пункте 1, только уже трёхмерный куб будет.
Ну и так далее.

Удачи.....
4 ноя 20, 21:04    [22226442]     Ответить | Цитировать Сообщить модератору
 Re: Хочу локально работать с БД и переносить её с собой или посылать по почте  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 29805
zeon11,

глазастый! :-)
4 ноя 20, 21:58    [22226457]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить