59 ответов в этой теме

[vitminc]

Наверно каждый нуждается в подобной вещи. Выбор в общем то небольшой между GrainSurgery и Algolith. Причем в приоритет у GrainSurgery. Проблема в том, что у первого скорость обсчета мала и не всегда хороший результат (замыливание). Второй - тоже не страдает отличным качеством.
В общем решил я собственный алгорим написать. ... и похоже, что написал - даже если использовать, то что получилось это значительный шаг вперед как в качестве, так и в скорости. Качество сравнимо (субъективно в лучшую сторону) с neat image 3.0!!! хотя это только первый шаг (их гораздо больше)

Чего же я хочу - мне нужен материал для тестов, здравое мнение экспертов и если такое возможно - место где можно было расположить материал для сравнения. (это чтобы все кто желает могли принять участие в обсуждении).

желательно присылать 3 файла в формате BMP (24bit) (если возможно)
1) оригинал (1 кадр)
2) лучшее качество которого смогли добится в AE (только шумоудаляющие фильтры, желательно также имя фильтра)
3) лучшее качество которого смогли добится в Photoshop и/или Neat Image (также указать чем делали)

обратно я вышлю bmp с результатом работы моего фильтра и по желанию bmp с отмеченным шумом.

PS скорей всего плугин будет комерческим, но определенная группа людей получит свой экземпляр бесплатно.

вопросы и файлы можно скидывать на vitalip@gmx.de

Сообщение отредактировано vitminc: 15 Feb 2004 - 20:34

[DenizZ]

Насколько гибким будет плуг/алгоритм? Обработка только DV, или любого аналога или другого источника (Digital Betacam например), работа в 16bit и киноразрешени?
Тема интересная, намыль соображения или в ПМ.

[vitminc]

Нет не только AV, в настоящий я тестирую не только на видео, но и на цифровом фото. Другого материала у меня в настоящий момент нет - именно по этому я и пишу в форум. В самом алгоритме заложены принципы распознавания шума, вне зависимости от его происхождения и размера. Как следствие он удаляется не только с материала пришедшего с цифровой матрицы, но и с кино/фото пленки и даже к примеру с jpeg изображений (артефакты компрессии). Разрешение материала тоже не имеет значения (только ограничения памяти). Одной из задач является удаление шума перед компрессией в mpeg(2,4) для большей плотности компрессии. Обработка киноматериала также возможна. Настоящая версия ориентирована на 8*8*8 RGB формат, ограничение чисто номинальное - в его основе лежит только скорость работы алгоритма. 16*16*16 - можно, но либо размер плугина возрастет во много раз либо, скорость обработки существенно упадет. Сам алгоритм к глубине цвета не привязан.

Сообщение отредактировано vitminc: 10 Feb 2004 - 14:01

[gisia]

если плагин будет работат толко с 1 кадром необращая внимание на окружающие кадры то вряд ли он станет очень популярныий для видео обработки особенно для материала снятого на бетакаме или дв

а так интересно, если возможно даите знать об резултатах.

[vitminc]

В настоящий момент контроль движения не планируется, но поверьте пока на слово - даже в том виде, что в котором он уже работает - это шаг вперед. Если кто-нибудь сможет дать мне место чтобы положить результаты выложу немедленно - если нет - тогда завтра/ послезавтра

PS он это алгоритм, а не плагин - пока он в виде JAVA программы без оптимизации кода. Массив 300*300 пикселей расчитывается на P-3 800 за ~3.5 сек.

Сообщение отредактировано vitminc: 10 Feb 2004 - 15:21

[VVV]

В настоящий момент контроль движения не планируется

А не потому ли и скорость у него такая?
И как это будет выглядеть на видео, а не на фото - делались ли такие тесты?

[vitminc]

Делались и там и там - характер шума ОДИНАКОВЫЙ - матрица шумит,
что касается контроля движения - так ведь в GrainSurgery (единственный и поддерживает) это реализовано не нормальным алгоритмом, а блендом!!! с предыдущими кадрами.

Сообщение отредактировано vitminc: 10 Feb 2004 - 15:53

[Pixel]

Готов активно поучаствовать в процессе!!! Задача актуальная и интересная.

[vitminc]

Попытаюсь выложить здесь jpeg- качество конечно пострадает, но все же...
данная картинка с ОЧЕНЬ ВЫСОКОЙ СТЕПЕНЬЮ ШУМА прошу это учитывать

эксперементаторы могут загрузить изображения в Photoshop и поиграться слоями

кто сможет пусть попробует с максимальным качеством получить с результат работы GrainSurgery

Оригинал:


Очищенное:


Очищенное в сравнении с Neat image:


Neat image:

Сообщение отредактировано vitminc: 10 Feb 2004 - 17:34

[Pixel]

Хммм... предлагаю всё-таки экспериментировать на живом материале. Ведь Noise из Photoshop в природе встречается ОЧЕНЬ редко. Работать приходится с реальным шумом матрицы видеокамеры, зерном киноплёнки, аналоговыми шумами видеотракта, артефактами цифровой компрессии и т.д.

[vitminc]

Согласен - просто под рукой на работе этого материала нет. . Конечно я тестирую в основном на живом материале. Основная задача алгоритма найти и убрать шум - не важно каким способом он получен. В первом посте я и прошу выслать мне живой материал... по результатам работы с ним можно будет делать выводы

Сообщение отредактировано vitminc: 10 Feb 2004 - 18:05

[Pixel]

Вот что получил используя Grain Surgery v2 под AE



Определённая замыленность присутствует, конечно. Pезультат по качеству сравним с NeatImage. Даже немного менее мыльный.

По сравнению с тестируемым результатом нет "разметания" точек, что приводит к рыхлым краям изначально чётких объектов, потере деталей.
На мой взгляд небольшое количество остаточного шума и замыливание для видео простительно, в то время как дрожащие края будут на видео зубить.

Несомненно, автор на правильном пути, поддержим его!

[vitminc]

Спасибо за файл для сравнения... я в свою очередь выложу оригинал на котором был сгенерен шум. Лучше сравнить сгенеренный GrainSurgery и мой (например опять в фотошопе)
Согласен с границами. Уже работаю - будет отдельная опция для резкости границ.

[Pixel]

Да, оригинал - это хорошо. Есть отправная точка.

Готовлю исходники, как обещал в e-mail, будет HD, кино 2к, фотоплёнка разной ширины и т.д.

[DenizZ]

Держись, vitminc! Такие кадрики до десятков метров допрыгивают

Но с выбранного пути не сворачивай - правильное дело затеял!

[vitminc]

Вот первые результаты на реальном материале (спасибо Psb за предоставленные примеры). Это не финальная версия алгоритма - ести еще пара идей. (сейчас работаю над контрастом границ) - сравнения как всегда рекомендую делать в Potoshop. Просьба комментарии давать ТОЛЬКО после реального сравнения материала.

Исходный материал


Neat image/GrainSurgery


Мой вариант



Исходный материал


Neat image/GrainSurgery


Мой вариант



просьба присылать примеры (желательно тяжелые случаи) для обработки - мейл в первом посте. Особенно интересует киноматериал, материал с цветным шумом (напр. сине-красный шум от магнитной ленты), и вяский другой - чем больше материала - тем лучше будет алгоритм

Сообщение отредактировано vitminc: 12 Feb 2004 - 23:58

[vitminc]

Прежде всего приношу извинения Pixel-у и Psb за некоторую путаницу. (Дело в том, что материал для исследования прислал Psb) Завтра выложу изменненые примеры со значительно улучшенным качеством. Отвечая на вопрос psb о удалении интерлейсинга - его в принципе можно и не удалять - смотря как настроить фильтр обнаружения ошибок.

[vitminc]

Выкладываю измененный кадр присланный psb. Он оличается более сглаженными областями с одинаковой текстурой. Теперь параметер сглаживания можно настраивать.

Пожалуйста поактивнее выражайте свои мнения и предложения. И присылайте материал для исследования

[Pixel]

Думаю, следующий этап - проба на последовательности кадров с последующим просмотром на видеомониторе. Продолжаю готовить материал - обсуждаю возможность использования материала его владельцами, чтобы не возникло претензий. Думаю, что в ближайшие дни всё будет улажено.

[Petr]

Я пока вижу результат, похожий на стандартный фильтр Smart Blur в Photoshop.
Попробуйте EyeFidelityTools:
http://www.dvp.co.il/
LE версия входила в Adobe Photodelux.

[vitminc]

Первая версия плагина для АЕ, для особо нетерпеливых, скорее нулевая почти ничего не работает (некоторые парамеры прото присутствуют без реальной функциональности)

Важно!!! В данный момент я не гарантирую, что АЕ будет работать корректно. НЕ ЗАПИСЫВАЙТЕ проекты с установленным фильтром - считать вы их не сможете. Размер исходного материала должен быть не менее 400х400 пикселов.

Тем не менее взять плугин можно взать здесь. (h**p://keytrainer.i-networx.de/VideoRestorator.zip)
И не забывайте высказывать свое мнение и присылать примеры vitalip@gmx.de .
Cамый важные параметры - strong area /middle area/ weak area
если middle area < strong area - параметр выключен
если weak area < middle area - параметр выключен
color параметры - выключены

Сообщение отредактировано vitminc: 15 Feb 2004 - 19:47

[MIROvoy]

слишком супер для того чтобы быть правдой...

[vitminc]

Это что называется не верь глазам своим? ... если серьезно проблемы есть и некоторые из них я знаю сам. Вопрос в том чтобы эксперты (и не только) указали на проблемы сейчас когда есть исходный алгоритм не оптимизированный под процессоры, позже это будет сделать ой как сложно. И высказали пожелания пока у меня есть немного времени писать.

[Pixel]

К огромному сожалению не смог попробовать плагин - в АЕ 5.5 и 6.0 получил сообщение ... could not be loaded (126) (48::46)

Композиция 720х576, исходник 2048х1232

WinXP PRO

Есть идеи?

Сообщение отредактировано Pixel: 16 Feb 2004 - 10:26

[VVV]

Аналогично - 48::46, только исходник как и композиция 720х576.
АЕ 6.0 WinXP+SP1.

[MIROvoy]

AE 6.0, AE 5.5, WinXP+SP1 rus
DV 720*576, DV768*576 "could not be loaded (126) (48::46)"
(

[Kok]

Та-же история
плаг не грузится в АЕ (5.5.1 и 6.0)......я даже скачал
его 2 раза
пробовал делать разные композиции (pixel aspect ratio)
400х400 square pixel. DV 720x576. Film (2k)
похоже сам АЕ его не видит...

Сообщение отредактировано Kok: 16 Feb 2004 - 09:08

[vitminc]

Залил новую версию возможно решит проблему. Если у кого-нибудь заработала - просьба сообщить. Иначе придеться искать в чем проблема. Видимо забыл, что-то настроить или не хватает каких-то библиотек. Будем искать...

Сообщение отредактировано vitminc: 16 Feb 2004 - 12:05

[Kok]

Если новая версия тут:
h**p://keytrainer.i-networx.de/VideoRestorator.zip
то это тоже не работает
все по старому.....

[vitminc]

похоже нашел в чем дело, в спешке не проверил наличие всех библиотек - не хватает msvcr70d.dll из набора VC 7.0 взять можно например здесь h**p://web.mit.edu/pbh/Public/msvcr70d.dll и положить в system32. В следующих версиях подобные зависимости уберу.

[Kok]

Ага, ДЛЛ помогла, плаг заработал......
......ммм....
если Strong area поставить "0", то точно такого-же эффекта
можно добиться применив Gaussian Blur в АЕ со значением 2!!!
Если ничего не трогать, то разница есть....но она
больше похожа на работу Smart Blur_a....,
а ползунок "middle area" выступает в роли "threshold"....
кнопка "Process artefact" дополнительно размыливает картинку
и добавляет зернистый шум на резких границах в кадре....

[vitminc]

Ок уже что-то. Process artefact лучше сейчас вообще не трогать (он просто не работает), меня интересует движение...

[Kok]

в движении ничего не меняется.....похоже
плаг не учитывает предидущий и последующие кадры....
с цветом (взял старую VHS запись - цвет неустойчивый и местами пропадает)
тоже ничего не происходит
А вообще, если кто пользует такой аппарат, как
JVC HR-DVS1 или подобный - это сдвоенная DV-SVHS дека,
мне там нравиться функция DIGITAL TBS/NR
просто в щенячьем воссторге от неё,
старые VHS-SVHS записи лечит радикально....
вот если-б софтину подобную.....

[vitminc]

Цвет сейчас вообще не затрагивается, только яркостная составляющая. Межкадровые различия тоже не анализируются, а вообще я просил примеры для работы (на чем тестировать). ... слать все еще можно...

[Kok]

Закинул на vitalip@gmx.de секвенцию из 10 кадров....
на ней, кстати, и тестировал.
Если надо - залью хоть весь ролик


Закинул еще 20 файлов.....думаю самое то будет для тестов.....

Сообщение отредактировано Kok: 16 Feb 2004 - 14:54

[vitminc]

Вот теперь вижу проблему. ... на досуге попытаюсь решить... но теперь мне будут нужны секвенции длительностью 1сек. ....

[Kok]

Загляни в ящик - там 20 кадров
доливаю еще 10....для гарантии

[Kok]

Да, если поверх этой "мутной" секвенции
написать какой-нибудь текст, сделать
в АЕ прекомпоз и измываться уже на ним -
хорошо будет видно работу плага как
на видео, так и на резких границах
""новенького" текста....активно используя иконку фотоаппарата
на окне композиции!

[Serg14]

А файлики присылать только в BMP? Jpg не пойдёт?

[vitminc]

Так как в принципе работа будет идти в двух направлениях одновременно, то материал лучше слать в avi - 1 сек. (Иначе я просто погрязну в картинках). Что касается jpeg - не надо слать в этом формате - он сам добавляет мусор и частично убирает тот что есть.

Да и еще одна важная вещь - если кто-то не хочет чтобы, присланные кадры где либо светились - сделайте пометку.

[Serg14]

Т.к. у меня DC10+, то родной формат у неё MJPG.
1 сек в avi с кодеком PicVideo можно или только не сжатое видео?
Звиняйте за ламерский вопрос

[vitminc]

тогда уж лучше MJPG

[Serg14]

Отправил

[Kok]

2 vitminc
как там продвигается изготовление шумодава?
есть что потестировать?

[vitminc]

Я сейчас в глубокой теории/тестах, но похоже дело продвигается - первая версия будет удалять только яркостной шум (и не будет учитывать цвет и временную составляющую).

[Kok]

Ок! Ждемс!

[Serg14]

2 vitminc
Я тут подумал, если пока плагин борется только с яркостным шумом, то для тестов есть смысл картинку перевести в ч\б или нет ?

[givi]

Работа и в самом деле ОЧЕНЬ актуальна. Особенно в свете продемонстрированных результатов. Готов предоставить много различного материала и место в инете для размещения.
С уважением, Глеб Игрунов
Технический директор Media Group

[vitminc]

с пятницы занимался разработкой алгоритма - поэтому отвечаю с задержкой

Serg14

Я тут подумал, если пока плагин борется только с яркостным шумом, то для тестов есть смысл картинку перевести в ч\б или нет ?

в первом приближении да - правда это все равно внесет дополнительный шум, правильную предачу яркости дает (L) лума компонента, насколько мне известно ни bmp ни jpg в подобном формате не записывают. Ипользовать фотошоповский psd - нельзя он использует свою 256-integer модель (либо 16 bit-integer) в то время как оригинальная лума имеет вещественный тип => любом случае срезает часть цветов. Честно говоря я не сталкивался с графическими редакторами 100% работающими в цветовом пространстве с лумой. (Может кто сталкивался?). Для тестов сойдет.

givi

... можем обеспечить всевозможный материал для тестирования. Различный шум различных цифровых и аналоговых камер...

а вот за это спасибо, материал понадобится и место возможно тоже, на данном этапе мне легче работать (тестировать работу алгоритма) с синтетическим шумом.

у меня есть очень большое подозрение, что цифровые камеры имеют каждая специфический шум от матрицы. причем зависит даже не от модели, а от конкретного экземпляра.

[Pixel]

Совершенно верно - каждый экземпляр имеет свой специфический шум. А вот насчёт сигналов, записываемых камерами : Яркостной сигнал обычно страдает меньше всего, а вот цветовые сигналы страдают серьёзно - сужают диапазон, разрешение и т.д.

Насколько я знаю, JPG сохранаят именно так: яркостная и цветовые составляющие.

А работает в таком формате с изображением Premiere (последние версии).