Ого, в океане мглы есть проблески.

Если вы активно пользуетесь Telegram, могли заметить, что старые сообщения пропали из диалогов. Так было из-за лимита в 1 миллион сообщений, который был общим и действовал на все приватные чаты суммарно. Когда-то я даже писала об этом.

Теперь лимит отменён (https://twitter.com/telegram/status/1060910769410371584?s=20). Можете открыть старые переписки, перемотать на какой-нибудь 2014 год и поностальгировать.

Пока может работать не совсем идеально: глобальный поиск всё ещё не найдёт эти старые сообщения, а чаты, в которых последние сообщения были очень давно, могут вовсе не отображаться в списке. Скоро будет исправлено и это.

​​При съёмке в темноте смартфоны сталкиваются с несколькими проблемами: ничего не видно, автофокус не срабатывает, все в шуме. Так происходит, потому что из-за маленькой линзы и матрицы камеры в объектив попадает недостаточно фотонов, плюс возникают ошибки в обработке сигнала.

Эти и другие случайные переменные фотографы называют отношением сигнала к шуму. Чем длиннее выдержка, тем меньше шума в кадре — но при длинной выдержке фотографии смазываются, даже если на них нет двигающихся объектов. Чтобы получить удачный кадр, приходится использовать штатив, удаленный спуск затвора и, по возможности, желательно еще не дышать.

В 2014 году, когда Google разрабатывала технологию HDR+, она выяснила, что технология также улучшает отношение сигнала к шуму при слабом освещении. Тогда инженеры решили увеличить количество и выдержку склеиваемых кадров, чтобы использовать HDR+ для съемки при плохом освещении. Так появилась технология Night Sight, которую на днях получили все смартфоны Google Pixel.

Night Sight решает все проблемы, которые перечислены в начале поста: восстанавливает цвет объектов в темноте при помощи возрастающей нелинейной функции (сигмоиды), выравнивает баланс белого на отдельных объектах в кадре (это делает самообучающийся алгоритм), совмещает снимки с разной выдержкой при пост-обработке. Если быстро снять и открыть фотографию в галерее Pixel 3, можно даже увидеть, как она будет меняться :)

Night Sight рассчитана на съемку при очень плохом освещении. Чтобы понять ее главный принцип работы, нужно немного углубиться в то, как смартфоны снимают обычные фотографии. Они используют технологию zero-shutter-lag (ZSL), которая позволяет избежать запаздывания срабатывания затвора — она циклично записывает в буфер 9–15 кадров при запуске камеры смартфона, а когда человек жмёт на кнопку спуска, сохраняет в память ближайшие к этому моменту кадры.

Однако для съёмки в темноте нужны более длинные выдержки, поэтому смартфоны Pixel используют технологию positive-shutter-lag (PSL), где съемка начинается только после нажатия на кнопку затвора. Она улучшает отношение сигнала к шуму, но при работе PSL человек должен стоять какое-то время неподвижно. А значит, будет возникать тряска и кадры будут смазываться. В зависимости от количества тряски, смартфоны Pixel снимают от 6 кадров (с выдержкой в 1 секунду) до 15 кадров (выдержка 1/15 секунды). Чем больше тряски, тем больше смартфон делает кадров.

Чтобы фотографии не размывались на более длинных выдержках, алгоритмы Night Sight динамически анализируют каждый кадр, меняют их выдержку, сопоставляют степень размытия элементов между кадрами и совмещают те части снимков, которые оказались наименее смазанными из всей серии кадров. Также Google добавила в Night Sight две кнопки: «близко» (для фокусировки на расстоянии около 1.22 метра), и «далеко» (для фокусировки на 3.66 метра). При выборе второй функции все, что находится на расстоянии от 1.83 метра, должно быть в фокусе.

Вот такая вот «вычислительная фотография». Физику не забороть, но математики находят другие обходные пути.