Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Программирование Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Решил тоже спросить.
Допустим в видеоролике мы выделили прям-к вокруг ОДНОГО компактного "объекта", движущегося как одно целое. Например самолёт, птица, человек.

Задача не из жизни, т.к. интересует как можно более общая постановка: что на фото - неизвестно, т.е. мы не знаем структуру движущегося объекта и не знаем реальных расстояний в кадре.

1) Интересуют к-нибудь хитроумные автоматические способы, чтобы как можно точнее отделить действительно движущийся объект от фона, что в этом прямоугольнике. Например в случае чел-ка хотелось бы чуть ли не с точностью до отдельных волосинок.

Пока приходит в голову только дробить прям-к на мелкую сетку и изучать каждую клетку - непонятно на какой предмет изучать. Потому как выделение краёв всего изображения сразу не гарантирует потом, что его можно соединить в непрерывный контур.

И ещё.
2) Камера реально движется. Но и "фон" шевелится в соседних кадрах (листва,там, тени всякие, ветер, мыши и т.д.) Это данность. Для простоты рассматриваем кол-во кадров, чьё пересечение гарантированно составляет достаточно большую область - прямоугольник.

Нужны идеи, а не программа. Заранее спасибо и ... это всё баловства ради, для мозгов.

Сообщение было отредактировано: 16 сен 19, 08:47
15 сен 19, 19:36    [21971244]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48641
https://www.google.com/search?q=motion detection algorithm
16 сен 19, 13:36    [21971561]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42918
Приходит на ум дифференциал между двумя кадрами. Или между последовательностью кадров за период.
Например за 1 сек. И оценка куда двигалась камера.

Это позволит определить фон. Например если было панарамирование.

Далее надо подумать. Как отделить движущиеся объекты от панорамного фона.

В любом случае здесь будут нужный настроечные параметры. Т..к сложно будет сказать
однозначно двигалось оно или стояло. Поле с колосками? Море? Листья на деверьях.
16 сен 19, 15:09    [21971706]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Dimitry Sibiryakov,
это ни о чём. В тепличных условиях работает любой алгоритм. Проблема не в том, чтобы найти 10 отличий на картинках. Я специально изучаю возможности самых общих постановок.
До сих пор не выработал приемлемых формулировок.
Склоняюсь к задачам разных видов локации, но без показателя дальности. И грубое разрешение по времени.
16 сен 19, 16:33    [21971798]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
mayton,
я и начал с производной по времени.
Сложностей для самой общей постановки выше головы.

Своих авишек у мня немного, я взял самые выпендрёжные, а в них постарался взять кадры с более лёгкими условиями. И сразу же выявил кучу проблем, мешающих универсальности постановки и решения. Начиная прямо с определения, что считать объектом, какие движения отлавливать.

Частота 30 к/сек, Пара соседних кадров значительно сдвигает направление съёмки. Это пока без зума.
Поэтому ещё есть подзадача: выбрать область, идентифицирующую серию кадров. Тогда можно говорить о скорости.

Потом, есть разница, когда наблюдение заведомо начинается с "фона". Когда кадр уехал и полностью освободил место - тогда конечно всё хорошо, но потом склеивать группы кадров.

Производная нужна, чтобы создать условия для Фурье - помогает, но и это чревато дроблением на фрагменты.
Пока я реагирую только на волны больше некоторой.
Движ-ся объектов предполагаю 1-2 самых крупных после Ф. Но даже при этом внезапное появление 2-го, более быстрого, сразу подавляет другой.
16 сен 19, 16:36    [21971802]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42918
Я думаю что детектор фона реализован в современных видеокодеках.
16 сен 19, 16:46    [21971815]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Я поэтому и задал самый лёгкий вопрос (по фону) из всего клубка))
Проверил вариант с гистограммой. Получив регион объекта для производной, рисуем его в исходнике (уже после фильтрации Ф.). При форме объекта сильно отличающейся от овала есть надежда, что фоновый шум в регионе близок к 0 по яркости и одновременно занимает значительную площадь, а спектр его яркостей весьма узок.

Пока только на одном примере. Результат обнадёживает, но требует дополнительной "морфологической" доработки, и возможны побочные эффекты в виде дробления на части и т.п.
16 сен 19, 16:48    [21971816]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
mayton, я не уверен, у них другая цель, они не объекты кодируют, а изменения. Меня же интересуют "объекты".
Вот неплохой результат, выкинул 2 нижние яркости, вместо них залил белым. Небольшой затёк внутрь крылышка, но это неизбежно.
Только пример оказался тепличным. И да, их пара, т.к. это отфильтрованная разность 2-х соседних кадров. Так уж получилось у них. Это тоже небольшая проблемка.

К сообщению приложен файл. Размер - 7Kb
16 сен 19, 17:02    [21971828]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Пришла ещё мысль, это уже в другой раз. Ковариационные матрицы и по ним нарисовать сетку. Затем в каждой клетке детектировать фон по минимальным ковариациям. По идее, оставшийся шум должен давать нулевые значения.
Но нужна какая-то последов-сть обхода клеток от снаружи к внутри, чтоб лишнего не обнулить. Фигово получится, если потом выдрать из кадра портрет, а в нём дыра вместо глаза.
16 сен 19, 17:15    [21971838]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42918
Чел ты в математике явно сильнее меня. Поэтому я могу только вздыхать и ждать исходников
чтобы понять что-там и где и как.
16 сен 19, 17:19    [21971842]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
исходники только матлабовские, а сюжетов у меня пока только 2 - и сними проблем полно.
Могу дать файл с данными, в формате "5.6422077495841639e-006"

К сообщению приложен файл (dov10rect1.zip - 33Kb) cкачать
16 сен 19, 17:28    [21971851]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Вот из этого хотел сделать маску к исх-му кадру.
16 сен 19, 17:35    [21971858]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
блин, забыл сказать, матрица примерно 110х69, 110 - по оси У,
строки текста по Х, в конце (13/10)
д.б. 110 строк, я не считал.
Просто импорт из него работает.
16 сен 19, 17:40    [21971863]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42918
Со смартфона невозможно посмотреть сорцы.
17 сен 19, 10:14    [21972197]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
mayton,
ну тогда я не знаю как. По сути - это матрица double'ов для картинки, что выше, только с остатками фонаи не зумированный как на картинке. На них не надо смотреть, их надо обсчитывать.
Несжатый файл занимает 190 кб - это выделенный фрагмент 110х69.
Кадр примерно 550х420, занимет 5,8 Мб, в сжатом виде 180 кб.
Сюда постить только частями. Это нужно?

Картинки, чтоб прикинуть кажущуюся лёгкость обработки см. далее. Но уже в неск. постов.
17 сен 19, 12:15    [21972392]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
всё в оттенках серого. В самих данных градаций конечно же больше, нежели на картинках.
1-й кадр

К сообщению приложен файл. Размер - 82Kb
17 сен 19, 12:18    [21972398]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
детектированное движение и регион= общиая привязка для всех кадров

К сообщению приложен файл. Размер - 8Kb
17 сен 19, 12:20    [21972400]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
вот все они голубчики во времени. Просуммированы производные.

К сообщению приложен файл. Размер - 125Kb
17 сен 19, 12:24    [21972406]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
вот они все сразу, отфильтрованные, когда знаешь, от каких длин волн избавляться.

К сообщению приложен файл. Размер - 108Kb
17 сен 19, 12:28    [21972408]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
вот разница (1-я производная) 11-10-го кадров.

К сообщению приложен файл. Размер - 73Kb
17 сен 19, 12:30    [21972411]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
здесь 11-10-й отфильтрованы

Вспомнил, это всё уменьшенные размеры рисунков. Исходные поболе ~570х520

К сообщению приложен файл. Размер - 84Kb
17 сен 19, 12:34    [21972418]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Ну а это тот, выделенный дифференциал 10-го голубка, к которому были данные в самом начале. Этот рисунок наоборот увеличен. (я забыл, что экспорт идёт один в один с экрана, а всё равно они мне нужны только для напоминания)

К сообщению приложен файл. Размер - 15Kb
17 сен 19, 12:37    [21972421]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Гистограммы яркости по Х и по У, после фильтрации.
Как раз видно, что годится итерация кластеризаций, вычеркивая последовательно один кластер за другим.
Причём если по одно оси гистограмма хорошая, то по другой может вмешаться остатки шума или как здесь шум от 1-й группы бъектов.

К сообщению приложен файл. Размер - 4Kb
17 сен 19, 12:41    [21972428]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
это по другой оси

К сообщению приложен файл. Размер - 4Kb
17 сен 19, 12:42    [21972430]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
С этим всё.
Другоq сюжет, частью проще, частью сложнее. Шума точно больше.
см. сюда один кадр
21945826
17 сен 19, 12:48    [21972444]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Пока определился с автоматическим выбором региона, к-рый синхронизирует соседние кадры.
Ещё требуется доработка. Но посколько никто не интересуется, то и оставляю просто как новость.
18 окт 19, 16:24    [21997578]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
ldfanate
Member

Откуда:
Сообщений: 145
а исходник именно в видимой части спектра? Тогда в общем случае задача не разрешима - проехала машина, осветила фарами, весь кадр сияет и переливается. Про грозу и молнию даже думать не хочется.
18 окт 19, 17:14    [21997612]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Конечно же, фотоавишки.
Кто бы спорил про теоретический общий случай. Возможные применения не ищу.
Пока интересуюсь только одним: вырезать нужный предмет как можно более точно, как можно более автоматически, в как можно более общем случае.

Зато как раз молния, если редко - она длится мгновение, частота кадров ~1/30. Не здесь,так в след-х кадрах всё выяснится (если конечно проверять).
А при свете фар (или там солнце за тучку) ... конечно чувствительность матриц с годами повышают. Но это же не видеонаблюдение и не радиолокация, ну будут помехи, будут ложные определения. Ночные съёмки в массе редки.
18 окт 19, 21:03    [21997770]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
ldfanate
Member

Откуда:
Сообщений: 145
автор
вырезать нужный предмет как можно более точно, как можно более автоматически

в прикладных задачах теленаведения (в различных отраслях народного хозяйства) задача в общем случае надёжно не решается даже с применением телеоператора. А вы хотите тупую машину за человека контур вычленять на фоне подстилающей поверхности.

так понимаю, чтобы надёжно оконтурить, нужно чтобы оконтуриваемый предмет был фотоконтрастным на фоне поверхности. Ну как например биспектральные головы у зенитных ракет - одна меряет на максимум в определённом спектре ИК, другая наоборот на минимум в УФ-области спектра. Либо полуактив: облучили-засияло отражёнкой в нужном спектре-оконтурили по отражёнке.
21 окт 19, 06:49    [21998576]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
ldfanate
А вы хотите тупую машину за человека контур вычленять на фоне подстилающей поверхности.
Свою машину. Я не так туп как мой комп. ИМХО этот ответ может быть применим к любому возражению.

ldfanate
...так понимаю, чтобы надёжно оконтурить, нужно чтобы оконтуриваемый предмет был фотоконтрастным на фоне поверхности.
Небольшое уточнение. У меня речь о заведомо движущемся явлении.
Ракеты, автономера и т.п. даже легче, их идентифицируют средствами, заранее подточенными под изделие в БД именно этого типа. Кроме того их именно идентифицируют.
21 окт 19, 15:37    [21999132]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
ldfanate
Member

Откуда:
Сообщений: 145
автор
речь о заведомо движущемся явлении

так проблема не в наличии-отсутствии движения. Проблема в отсутствии у безмозглой машины понимания, где кончается контур объекта, и начинается подстилающая поверхность (фон). Потому самый надёжный способ - это сделать объект максимально высококонтрастным, а фон наоборот низкоконтрастным (а лучше совсем равномерным) ещё до начала анализа алгоритмом границ контура. Что достигается одним из вышеозвученных методов.

Озвучьте подробнее, какую прикладную задачу вы пытаетесь решить таким изощрённым способом.
22 окт 19, 08:05    [21999461]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
ldfanate
Member

Откуда:
Сообщений: 145
т.е. в вашем примере с отфильтрованной птицей на чёрном фоне 21972421 - два снимка, один камерой-тепловизором, второй камерой с УФ-фильтром. Получится яркий контур на почти чёрном фоне в первом случае - оконтуривание тривиальное, но грубое, т.к. в ИК обычно пироболометрические тепловизоры имеют низкое разрешение. И более чёткий УФ-снимок "негатив" - чёрный голубь на фоне равномерно светящегося в УФ-диапазоне неба. Им можно уточнить мелкие детали контура.

А просто математическое тасование пикселей на снимке только в видимом диапазоне, где объекты фона плюс всякие "шумы" (закат/рассвет, снег, дождь, пыль, насекомые) имеют яркось/цвет сравнимые с объектом, - имхо затея малоперспективная. Ошибок будет много даже при выявлении движения, не говоря уж об оконтуривании.

Граничный случай: движение взвода матросов на фоне стада пасущихся зебр :)
22 окт 19, 13:32    [21999802]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
ldfanate, ничего другого, кроме обычных фотоавишек, у меня для вас нет. А такой сюжет вааще проблемный (см. файл).

Цитата из первого поста:
автор
это всё баловства ради, для мозгов


К сообщению приложен файл. Размер - 148Kb
22 окт 19, 19:32    [22000193]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
ldfanate
взвода матросов на фоне стада пасущихся зебр
вероятно вы имели ввиду взвод ЗК?
22 окт 19, 19:36    [22000195]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Давно собирался написать, что пока отказался использовать ковариационные матрицы, чтобы получать контуры и маски "объектов". Во всяком случае матрицы как основу выделяющего метода. Поскольку он носит статистический характер, то и не даёт точные границы. Зачастую очень неточные.
Смотришь когда глазами на эту матрицу, и знаешь, что здесь и там провёл бы границы, а если автоматом, то проблемно сформулировать единый критерий с достаточным качеством.

Однако в связи с предметом критики замечу повторно, что вероятностный характер в общей задаче появляется сразу.
Это - автоматическое выделение региона, синхронизирующего кадры.

И в свете критических выступлений добавлю, что я не против лекционного стиля в своей теме и не против предмета критики.
Мне только непонятен был пафос конкретно в мой адрес: я ведь не обещал вообще ничего и никому.
27 окт 19, 15:16    [22003648]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42918
exp98, я думаю что задача в топике нерешаемая. Не хватает доп-условий.

Я помню как на первых уроках физики мы изучали системы отсчёта. И само понятие движущийся автомобиль
в контексте планеты земля мог означать одно. А в солнечной системе - другое. И в галлактике Млечный путь - вообще
что-то третье.
27 окт 19, 16:54    [22003674]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
exp98
Member

Откуда:
Сообщений: 1846
Я не решаю этого в общем виде. По-моему вы оба пропускаете первые 3 слова в фразах "как можно более ..."
Привязавшись к конкретным ограничениям, сразу попадаешь в специфическое русло действий. И потом уже не захочется возвращаться к другим начальным условиям.
А так есть возможность оценить разные варианты с возможностью классификации нач-ных условий. Уже можно будет хотя бы ожидать конкретного качества. Потом подбирать под них методы. Дэдлайна у меня нет.
27 окт 19, 23:27    [22003788]     Ответить | Цитировать Сообщить модератору
 Re: На тему выделения движущихся "объектов"  [new]
mayton
Member

Откуда: loopback
Сообщений: 42918
exp98, в каком виде ты хочешь получить результат?

Координата на экране? Контур? Полилиния? Множество контуров? Множество центров?
Множество центров кластеров?

Я-же говорю нужны ограничения.
27 окт 19, 23:54    [22003799]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / Программирование Ответить