Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Программирование Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
Решил тоже спросить.
Допустим в видеоролике мы выделили прям-к вокруг ОДНОГО компактного "объекта", движущегося как одно целое. Например самолёт, птица, человек.

Задача не из жизни, т.к. интересует как можно более общая постановка: что на фото - неизвестно, т.е. мы не знаем структуру движущегося объекта и не знаем реальных расстояний в кадре.

1) Интересуют к-нибудь хитроумные автоматические способы, чтобы как можно точнее отделить действительно движущийся объект от фона, что в этом прямоугольнике. Например в случае чел-ка хотелось бы чуть ли не с точностью до отдельных волосинок.

Пока приходит в голову только дробить прям-к на мелкую сетку и изучать каждую клетку - непонятно на какой предмет изучать. Потому как выделение краёв всего изображения сразу не гарантирует потом, что его можно соединить в непрерывный контур.

И ещё.
2) Камера реально движется. Но и "фон" шевелится в соседних кадрах (листва,там, тени всякие, ветер, мыши и т.д.) Это данность. Для простоты рассматриваем кол-во кадров, чьё пересечение гарантированно составляет достаточно большую область - прямоугольник.

Нужны идеи, а не программа. Заранее спасибо и ... это всё баловства ради, для мозгов.

Сообщение было отредактировано: 16 сен 19, 08:47
15 сен 19, 19:36    [21971244]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48625
https://www.google.com/search?q=motion detection algorithm
16 сен 19, 13:36    [21971561]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42891
Приходит на ум дифференциал между двумя кадрами. Или между последовательностью кадров за период.
Например за 1 сек. И оценка куда двигалась камера.

Это позволит определить фон. Например если было панарамирование.

Далее надо подумать. Как отделить движущиеся объекты от панорамного фона.

В любом случае здесь будут нужный настроечные параметры. Т..к сложно будет сказать
однозначно двигалось оно или стояло. Поле с колосками? Море? Листья на деверьях.
16 сен 19, 15:09    [21971706]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
Dimitry Sibiryakov,
это ни о чём. В тепличных условиях работает любой алгоритм. Проблема не в том, чтобы найти 10 отличий на картинках. Я специально изучаю возможности самых общих постановок.
До сих пор не выработал приемлемых формулировок.
Склоняюсь к задачам разных видов локации, но без показателя дальности. И грубое разрешение по времени.
16 сен 19, 16:33    [21971798]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
mayton,
я и начал с производной по времени.
Сложностей для самой общей постановки выше головы.

Своих авишек у мня немного, я взял самые выпендрёжные, а в них постарался взять кадры с более лёгкими условиями. И сразу же выявил кучу проблем, мешающих универсальности постановки и решения. Начиная прямо с определения, что считать объектом, какие движения отлавливать.

Частота 30 к/сек, Пара соседних кадров значительно сдвигает направление съёмки. Это пока без зума.
Поэтому ещё есть подзадача: выбрать область, идентифицирующую серию кадров. Тогда можно говорить о скорости.

Потом, есть разница, когда наблюдение заведомо начинается с "фона". Когда кадр уехал и полностью освободил место - тогда конечно всё хорошо, но потом склеивать группы кадров.

Производная нужна, чтобы создать условия для Фурье - помогает, но и это чревато дроблением на фрагменты.
Пока я реагирую только на волны больше некоторой.
Движ-ся объектов предполагаю 1-2 самых крупных после Ф. Но даже при этом внезапное появление 2-го, более быстрого, сразу подавляет другой.
16 сен 19, 16:36    [21971802]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42891
Я думаю что детектор фона реализован в современных видеокодеках.
16 сен 19, 16:46    [21971815]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
Я поэтому и задал самый лёгкий вопрос (по фону) из всего клубка))
Проверил вариант с гистограммой. Получив регион объекта для производной, рисуем его в исходнике (уже после фильтрации Ф.). При форме объекта сильно отличающейся от овала есть надежда, что фоновый шум в регионе близок к 0 по яркости и одновременно занимает значительную площадь, а спектр его яркостей весьма узок.

Пока только на одном примере. Результат обнадёживает, но требует дополнительной "морфологической" доработки, и возможны побочные эффекты в виде дробления на части и т.п.
16 сен 19, 16:48    [21971816]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
mayton, я не уверен, у них другая цель, они не объекты кодируют, а изменения. Меня же интересуют "объекты".
Вот неплохой результат, выкинул 2 нижние яркости, вместо них залил белым. Небольшой затёк внутрь крылышка, но это неизбежно.
Только пример оказался тепличным. И да, их пара, т.к. это отфильтрованная разность 2-х соседних кадров. Так уж получилось у них. Это тоже небольшая проблемка.

К сообщению приложен файл. Размер - 7Kb
16 сен 19, 17:02    [21971828]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
Пришла ещё мысль, это уже в другой раз. Ковариационные матрицы и по ним нарисовать сетку. Затем в каждой клетке детектировать фон по минимальным ковариациям. По идее, оставшийся шум должен давать нулевые значения.
Но нужна какая-то последов-сть обхода клеток от снаружи к внутри, чтоб лишнего не обнулить. Фигово получится, если потом выдрать из кадра портрет, а в нём дыра вместо глаза.
16 сен 19, 17:15    [21971838]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42891
Чел ты в математике явно сильнее меня. Поэтому я могу только вздыхать и ждать исходников
чтобы понять что-там и где и как.
16 сен 19, 17:19    [21971842]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
исходники только матлабовские, а сюжетов у меня пока только 2 - и сними проблем полно.
Могу дать файл с данными, в формате "5.6422077495841639e-006"

К сообщению приложен файл (dov10rect1.zip - 33Kb) cкачать
16 сен 19, 17:28    [21971851]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
Вот из этого хотел сделать маску к исх-му кадру.
16 сен 19, 17:35    [21971858]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
блин, забыл сказать, матрица примерно 110х69, 110 - по оси У,
строки текста по Х, в конце (13/10)
д.б. 110 строк, я не считал.
Просто импорт из него работает.
16 сен 19, 17:40    [21971863]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42891
Со смартфона невозможно посмотреть сорцы.
17 сен 19, 10:14    [21972197]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
mayton,
ну тогда я не знаю как. По сути - это матрица double'ов для картинки, что выше, только с остатками фонаи не зумированный как на картинке. На них не надо смотреть, их надо обсчитывать.
Несжатый файл занимает 190 кб - это выделенный фрагмент 110х69.
Кадр примерно 550х420, занимет 5,8 Мб, в сжатом виде 180 кб.
Сюда постить только частями. Это нужно?

Картинки, чтоб прикинуть кажущуюся лёгкость обработки см. далее. Но уже в неск. постов.
17 сен 19, 12:15    [21972392]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
всё в оттенках серого. В самих данных градаций конечно же больше, нежели на картинках.
1-й кадр

К сообщению приложен файл. Размер - 82Kb
17 сен 19, 12:18    [21972398]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
детектированное движение и регион= общиая привязка для всех кадров

К сообщению приложен файл. Размер - 8Kb
17 сен 19, 12:20    [21972400]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
вот все они голубчики во времени. Просуммированы производные.

К сообщению приложен файл. Размер - 125Kb
17 сен 19, 12:24    [21972406]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
вот они все сразу, отфильтрованные, когда знаешь, от каких длин волн избавляться.

К сообщению приложен файл. Размер - 108Kb
17 сен 19, 12:28    [21972408]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
вот разница (1-я производная) 11-10-го кадров.

К сообщению приложен файл. Размер - 73Kb
17 сен 19, 12:30    [21972411]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
здесь 11-10-й отфильтрованы

Вспомнил, это всё уменьшенные размеры рисунков. Исходные поболе ~570х520

К сообщению приложен файл. Размер - 84Kb
17 сен 19, 12:34    [21972418]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
Ну а это тот, выделенный дифференциал 10-го голубка, к которому были данные в самом начале. Этот рисунок наоборот увеличен. (я забыл, что экспорт идёт один в один с экрана, а всё равно они мне нужны только для напоминания)

К сообщению приложен файл. Размер - 15Kb
17 сен 19, 12:37    [21972421]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
Гистограммы яркости по Х и по У, после фильтрации.
Как раз видно, что годится итерация кластеризаций, вычеркивая последовательно один кластер за другим.
Причём если по одно оси гистограмма хорошая, то по другой может вмешаться остатки шума или как здесь шум от 1-й группы бъектов.

К сообщению приложен файл. Размер - 4Kb
17 сен 19, 12:41    [21972428]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
это по другой оси

К сообщению приложен файл. Размер - 4Kb
17 сен 19, 12:42    [21972430]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1843
С этим всё.
Другоq сюжет, частью проще, частью сложнее. Шума точно больше.
см. сюда один кадр
21945826
17 сен 19, 12:48    [21972444]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Программирование Ответить