Мысли, про шумоподавление и нейронные сети
Смотрел недавно конференцию YAC (Yet Another Conference) от Yandex-а.
Много говорили об ИИ, Алисе, автопилот звучал.
"Внутре у неё нейронка".
В телефоны начали нейросети тренированные добавлять.
Я тут задумался - может, попробовать?
Мне больше всего интересно шумоподавление, конечно. Объектив темноват))
Как-то надо научить нейросеть распознавать шум и превращать его в чистый фон.
Идеи две:
1) Разбивать картинку на блоки 8х8, например, как делают в классическом случае с распознаванием текста
2) Разбивать картинку на блоки 1х8, например, и как-то работать с этими полосками - работать с градиентами.
Проблемка в чём... В распознавании символов обычно текст в градациях серого, к примеру. и нейросеть выдаёт в соответствие - какой же символ она нашла.
Тут же в лучшем случае - скормлю я ей производную по полоске шумного изображения, и дам как результат - ту же полоску нешумную.
Может, как-то и сработает...
Нужны тестовые данные - их придётся добыть, сняв одну и ту же обстановку с разными значениями iso и выдержки,
а затем разбив скриптов на массивчики.
Ещё вопрос - как быть с RGB? Рассматривать каналы по-отдельности, или вместе?
Надо попробовать...
Вот прошлый подход завершился непонятками - качать 80 гигов данных не хотелось. Но и генерить 80 гигов данных - это жесть. Столько - не выйдет...
Руки чешутся поисследовать как-то картинку, загрузить рав-файл через numpy, да начать по нему лазить, бить на кусочки да производные смотреть.
Но надо пойти спать уже. Наташа в эту неделю работала с 6 утра, что добавило перекоса в распорядок дня...
Вечером посуду чуть ли не час мыл. Наташа на завтра готовила - гости приедут, будем продолжать праздновать её ДР))
Много говорили об ИИ, Алисе, автопилот звучал.
"Внутре у неё нейронка".
В телефоны начали нейросети тренированные добавлять.
Я тут задумался - может, попробовать?
Мне больше всего интересно шумоподавление, конечно. Объектив темноват))
Как-то надо научить нейросеть распознавать шум и превращать его в чистый фон.
Идеи две:
1) Разбивать картинку на блоки 8х8, например, как делают в классическом случае с распознаванием текста
2) Разбивать картинку на блоки 1х8, например, и как-то работать с этими полосками - работать с градиентами.
Проблемка в чём... В распознавании символов обычно текст в градациях серого, к примеру. и нейросеть выдаёт в соответствие - какой же символ она нашла.
Тут же в лучшем случае - скормлю я ей производную по полоске шумного изображения, и дам как результат - ту же полоску нешумную.
Может, как-то и сработает...
Нужны тестовые данные - их придётся добыть, сняв одну и ту же обстановку с разными значениями iso и выдержки,
а затем разбив скриптов на массивчики.
Ещё вопрос - как быть с RGB? Рассматривать каналы по-отдельности, или вместе?
Надо попробовать...
Вот прошлый подход завершился непонятками - качать 80 гигов данных не хотелось. Но и генерить 80 гигов данных - это жесть. Столько - не выйдет...
Руки чешутся поисследовать как-то картинку, загрузить рав-файл через numpy, да начать по нему лазить, бить на кусочки да производные смотреть.
Но надо пойти спать уже. Наташа в эту неделю работала с 6 утра, что добавило перекоса в распорядок дня...
Вечером посуду чуть ли не час мыл. Наташа на завтра готовила - гости приедут, будем продолжать праздновать её ДР))