Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Delphi Новый топик    Ответить
 Поиск похожести массива в огромном массиве.  [new]
Kast2K
Member

Откуда: Санкт-Петербург
Сообщений: 482
Добрый день!
Требуется совет или ссылки по следующему вопросу.

Есть постоянно пополняемая (+40К записей за 5 минут) база данных.
На основании этих данных строятся графики примерно такого вида.
Необходимо найти идельную вырезку из графика (сделается вручную), а дальше опрашивать БД раз в минуту и пытаться найти вхождение идеала +-5-7% в выгруженном массиве. При сильном несовпадении вывести сообщение для администратора.

Мне видятся следующие возможные варианты:
1. Тупой и очень не идеальный. Идём последовательно по точкам, находим приблизительное первое вхождение и дальше пытаемся произвести сравнение. В случае сильного несовпадения точек отмечаем график как проблемный. Но, как мне кажется, вероятность ошибки в данном случае будет очень велика в связи с непостоянностью работы оборудования и прочих факторов

2. Преобразовать идельный массив в график, далее после получения набора последних данных преобразовать его в график и произвести сравнение на ближайшее возможное совпадение (через OpenCV например).

Может быть есть уже какие-то похожие алгоритмы?

К сообщению приложен файл. Размер - 70Kb
13 авг 19, 16:49    [21948353]     Ответить | Цитировать Сообщить модератору
 Re: Поиск похожести массива в огромном массиве.  [new]
Kast2K
Member

Откуда: Санкт-Петербург
Сообщений: 482
Во избежание вопросов про размеры данных, то выгрузка производится 1 раз в 5 минут, т.е. за раз получаем около 40К данных, а не за последние сутки несколько миллионов :)
13 авг 19, 16:59    [21948372]     Ответить | Цитировать Сообщить модератору
 Re: Поиск похожести массива в огромном массиве.  [new]
_Vasilisk_
Member

Откуда: Украина, Харьков
Сообщений: 11090
Если есть сырые данные, то зачем сравнивать картинки?
13 авг 19, 17:28    [21948430]     Ответить | Цитировать Сообщить модератору
 Re: Поиск похожести массива в огромном массиве.  [new]
Kast2K
Member

Откуда: Санкт-Петербург
Сообщений: 482
_Vasilisk_,

Это пока всего лишь идея как можно осуществить желаемое с большей точностью
13 авг 19, 17:41    [21948446]     Ответить | Цитировать Сообщить модератору
 Re: Поиск похожести массива в огромном массиве.  [new]
Соколинский Борис
Member

Откуда: Москва
Сообщений: 10424
Kast2K
Может быть есть уже какие-то похожие алгоритмы?
Задача давно известная и алгоритмов должно быть дофига.
Гугли "разладка временных рядов".
13 авг 19, 17:47    [21948457]     Ответить | Цитировать Сообщить модератору
 Re: Поиск похожести массива в огромном массиве.  [new]
Kast2K
Member

Откуда: Санкт-Петербург
Сообщений: 482
Соколинский Борис,

Спасибо! То что требуется!
14 авг 19, 07:30    [21948774]     Ответить | Цитировать Сообщить модератору
Все форумы / Delphi Ответить