ToF-камера в смартфоне: что это такое и зачем нужна

ToF-камера - это датчик глубины, который определяет расстояние до объектов по времени полёта света. Смартфон отправляет короткий инфракрасный световой импульс, фиксирует его отражение и по задержке вычисляет, насколько далеко находится поверхность. Так устройство получает не просто обычное изображение, а информацию о глубине сцены.

Технология Time of Flight используется там, где смартфону важно понимать расположение объектов в пространстве. ToF-сенсор может помогать при создании портретных снимков, работе дополненной реальности, 3D-сканировании и измерении расстояний.

При этом ToF-камера не заменяет основную камеру смартфона. Её задача - дополнить обычное изображение картой глубины и дать системе более точное представление о форме и расстоянии до объектов. Чтобы понять, откуда берутся эти данные, сначала разберёмся, что именно представляет собой ToF-сенсор.

Что такое ToF-камера и зачем она нужна смартфону

ToF-камера, или Time of Flight камера, - это сенсор, который измеряет расстояние до объектов с помощью света. Название технологии буквально переводится как "время полёта": датчик оценивает, сколько времени требуется световому сигналу, чтобы дойти до объекта, отразиться от него и вернуться обратно.

В смартфонах ToF-сенсор обычно работает в инфракрасном диапазоне, который невидим для человеческого глаза. Устройство подсвечивает сцену инфракрасным светом, а затем регистрирует отражённый сигнал. Поскольку скорость света известна, электроника может рассчитать расстояние до разных участков сцены.

Главное отличие ToF-сенсора от обычной камеры заключается в типе информации, которую он получает. Стандартная камера фиксирует яркость, цвет и детали изображения, формируя двумерный кадр. ToF-камера дополнительно определяет расстояние до объектов и помогает построить карту глубины.

Такая карта представляет сцену не только по ширине и высоте, но и по удалённости объектов от смартфона. Например, система может понять, что лицо человека находится ближе, фон - дальше, а находящийся между ними предмет занимает промежуточное положение.

Эта информация полезна сразу в нескольких сценариях. Смартфон может точнее отделять главный объект от фона при портретной съёмке, оценивать размеры предметов, определять положение поверхностей для дополненной реальности и создавать упрощённые трёхмерные модели пространства.

При этом ToF-камера чаще всего не используется как самостоятельный модуль для получения фотографий. Она работает вместе с основной камерой и программными алгоритмами, добавляя к обычному изображению данные о расстоянии. Именно поэтому такой датчик иногда называют камерой глубины или датчиком глубины.

Как работает ToF-камера: измерение расстояния по времени полёта света

Принцип работы ToF-камеры основан на очень простой идее: если известно, с какой скоростью движется свет, можно определить расстояние до объекта по времени, которое требуется световому сигналу на путь туда и обратно. На практике измеряются чрезвычайно малые промежутки времени, поэтому вся работа выполняется электронной системой с высокой точностью.

Как инфракрасный свет отражается от объектов

ToF-модуль содержит источник инфракрасного излучения и чувствительный сенсор. Смартфон направляет невидимый для человека свет на окружающие объекты. Часть этого света отражается от их поверхностей и возвращается обратно к датчику.

Разные участки сцены находятся на разном расстоянии от смартфона, поэтому отражённый сигнал возвращается не одновременно. Свет от близкого предмета приходит немного раньше, чем свет от стены или другого объекта на заднем плане.

На результат измерения также влияют свойства поверхности. Светлые и хорошо отражающие материалы обычно возвращают более сильный сигнал, тогда как тёмные, прозрачные или сильно блестящие поверхности могут усложнять работу датчика.

Как сенсор вычисляет расстояние

После отправки светового сигнала электроника измеряет задержку его возвращения. Поскольку свет проходит путь от смартфона до объекта и обратно, полученное расстояние делится пополам.

В упрощённом виде расчёт можно представить так: расстояние равно скорости света, умноженной на время прохождения сигнала и разделённой на два. Именно из-за необходимости фиксировать крайне короткие интервалы времени ToF-сенсор требует специализированной электроники.

Некоторые системы работают не с отдельными короткими импульсами, а с модулированным инфракрасным светом. В таком случае расстояние определяется по изменению фазы отражённого сигнала относительно исходного. Для пользователя разницы практически нет: результатом всё равно становится оценка расстояния до поверхности.

Как из измерений формируется карта глубины

ToF-камера измеряет расстояние не до одной точки, а сразу до множества участков сцены. Каждый элемент сенсора получает собственное значение глубины. После обработки этих данных смартфон формирует карту, где для каждого участка известно примерное расстояние до камеры.

Получается своеобразное трёхмерное представление пространства. Система понимает, какие объекты находятся ближе, какие дальше и насколько заметно различается их положение по глубине.

Затем карта глубины объединяется с изображением основной камеры. Именно на этом этапе программные алгоритмы могут точнее определять границы объектов, оценивать форму пространства и использовать полученные данные для фотографии, дополненной реальности или 3D-сканирования.

Для чего ToF-сенсор используется в смартфонах

ToF-сенсор нужен смартфону там, где обычного двумерного изображения недостаточно. Он добавляет информацию о расстоянии до объектов, поэтому камера и приложения могут точнее понимать форму сцены и положение предметов относительно друг друга.

Портретный режим и отделение объекта от фона

Одна из самых понятных задач ToF-камеры - определение глубины при портретной съёмке. Смартфону необходимо понять, где находится человек, где заканчиваются его контуры и на каком расстоянии расположен фон.

Карта глубины помогает точнее разделять передний и задний планы. После этого программная обработка может размыть фон, сохранив лицо, волосы и одежду более резкими. Особенно полезна дополнительная информация о глубине в сложных сценах, где фон по цвету похож на объект съёмки.

При этом качество портретного режима зависит не только от ToF-сенсора. Современные смартфоны способны оценивать глубину с помощью нескольких камер и алгоритмов компьютерного зрения, поэтому отдельный датчик глубины не является обязательным.

Автофокус и съёмка при плохом освещении

Информация о расстоянии может помогать камере быстрее определять, где находится объект съёмки. ToF-сенсор не обязан анализировать контраст изображения, чтобы понять приблизительную дистанцию до объекта, поэтому система получает дополнительную информацию для фокусировки.

Преимущество особенно заметно в условиях слабого освещения, когда обычной камере сложнее различать детали сцены. Инфракрасное излучение ToF-модуля работает независимо от видимого света, поэтому сенсор способен измерять глубину даже там, где изображение основной камеры становится недостаточно контрастным.

Однако конкретное использование ToF для автофокуса зависит от конструкции камеры смартфона. В некоторых устройствах эту задачу выполняют другие технологии, например фазовая или лазерная фокусировка.

3D-сканирование объектов и пространства

Поскольку ToF-камера получает множество значений расстояния одновременно, её данные можно использовать для создания трёхмерного представления объекта или помещения. Смартфон перемещают вокруг предмета, а программное обеспечение объединяет последовательные карты глубины в одну модель.

Точности мобильного ToF-сенсора обычно недостаточно для профессионального промышленного 3D-сканирования, но для бытовых задач возможностей может быть достаточно. Например, технология позволяет приблизительно оценить форму предмета, отсканировать участок комнаты или получить данные для приложений, работающих с пространством.

Дополненная реальность и измерение размеров

Для дополненной реальности смартфону важно понимать, где находятся реальные поверхности. Если виртуальный объект должен стоять на полу или столе, система должна определить положение этой поверхности и расстояние до неё.

Карта глубины помогает быстрее распознавать геометрию окружающего пространства. Благодаря этому виртуальные объекты можно реалистичнее размещать относительно мебели, стен и других предметов.

Тот же принцип используется в приложениях для измерения расстояний и размеров. Смартфон оценивает глубину нескольких точек и на основе их положения рассчитывает примерную длину, высоту или расстояние между объектами. Такие измерения удобны для бытовых задач, но не заменяют профессиональные измерительные приборы, когда требуется высокая точность.

ToF и LiDAR: в чём разница между технологиями измерения глубины

ToF и LiDAR решают похожую задачу - измеряют расстояние до объектов с помощью света. Из-за этого технологии нередко воспринимают как одно и то же, но их устройство и способы получения данных могут отличаться.

Что общего у ToF и LiDAR

Обе технологии используют принцип Time of Flight: источник излучает световой сигнал, он отражается от объекта и возвращается к сенсору. По времени прохождения сигнала система определяет расстояние.

И ToF-камера, и LiDAR могут формировать карту глубины, помогать смартфону понимать геометрию пространства, определять положение поверхностей и работать с дополненной реальностью. В обоих случаях обычно используется инфракрасный свет, невидимый человеческому глазу.

Подробнее устройство лазерного сканирования и применение таких датчиков разобраны в материале "Как работает LiDAR: принципы сканирования в смартфонах и автомобилях".

Читать подробнее о работе LiDAR

Чем отличаются способы сканирования пространства

Классическая ToF-камера обычно освещает значительную часть сцены и измеряет глубину сразу для множества точек с помощью матрицы сенсора. Благодаря этому карта глубины формируется быстро и без механического сканирования пространства.

LiDAR - более широкое понятие. Такие системы могут последовательно посылать лазерные импульсы в разные направления или использовать сразу множество точек. В результате формируется облако точек - набор координат, описывающих окружающее пространство.

Из-за различий в конструкции LiDAR может обеспечивать большую дальность и более детальное пространственное измерение, особенно в специализированных системах. Поэтому технология используется не только в смартфонах, но и в автомобилях, робототехнике, геодезии и промышленном оборудовании.

Какая технология лучше подходит для смартфона

Однозначно назвать одну технологию лучше другой нельзя: всё зависит от задачи. Компактный ToF-сенсор хорошо подходит для определения глубины на небольших расстояниях, портретной съёмки, автофокуса и простых приложений дополненной реальности.

LiDAR имеет преимущество там, где требуется более детально сканировать пространство и уверенно определять расстояния до множества поверхностей. Но более сложная система может занимать больше места, потреблять больше энергии и увеличивать стоимость устройства.

Для обычной мобильной фотографии разница между технологиями не всегда заметна пользователю. Качество результата во многом зависит от программной обработки, характеристик самого сенсора и того, насколько хорошо производитель интегрировал данные о глубине с основной камерой смартфона.

Нужна ли ToF-камера в современном смартфоне

Наличие отдельной ToF-камеры сегодня нельзя считать обязательным признаком хорошего смартфона. Она может улучшать работу с глубиной сцены, но многие задачи производители научились решать с помощью нескольких обычных камер, фазового автофокуса и алгоритмов компьютерного зрения.

Для повседневной съёмки пользователь часто вообще не замечает, есть в смартфоне ToF-сенсор или нет. Качество фотографии сильнее зависит от основной камеры, оптики, размера сенсора и программной обработки. Даже портретный режим может работать достаточно точно без отдельного датчика глубины.

ToF становится полезнее в сценариях, где смартфону действительно нужно измерять пространство. Это дополненная реальность, определение расстояний, построение карты глубины и простое 3D-сканирование. В таких задачах аппаратные данные о расстоянии позволяют системе меньше полагаться на догадки алгоритмов.

При выборе смартфона переплачивать только ради ToF-камеры обычно нет смысла. Если устройство покупается прежде всего для фотографий, важнее оценивать качество основных камер и обработку снимков. Для работы с AR, сканирования помещений и других пространственных задач отдельный датчик глубины может стать заметным преимуществом.

Поэтому ToF-сенсор стоит воспринимать не как самостоятельную камеру, определяющую качество смартфона, а как дополнительный инструмент. Его ценность зависит от того, насколько активно производитель использует данные о глубине в камере и приложениях.

Заключение

ToF-камера помогает смартфону определять не только то, что находится перед объективом, но и на каком расстоянии расположены объекты. Для этого сенсор использует инфракрасный свет и измеряет время его прохождения до поверхности и обратно, после чего формирует карту глубины сцены.

Такие данные полезны для портретной съёмки, автофокуса, дополненной реальности, измерения расстояний и простого 3D-сканирования. При этом отдельный ToF-сенсор не является обязательным для хорошей камеры: многие современные смартфоны получают информацию о глубине с помощью нескольких камер и программных алгоритмов.

Если смартфон нужен прежде всего для обычной фотографии, наличие ToF не должно быть главным критерием выбора. Но для AR-приложений, работы с пространством и 3D-сканирования отдельный датчик глубины действительно может дать дополнительное преимущество.