В дисплее iPhone используется технология ёмкостного считывания, когда приближение пальца меняет параметры электрической цепи между миниатюрными сенсорами. На рынок в данный момент выходит и другое решение, включающее встроенные оптические сенсоры для отслеживания движений пальцев, но исследователи из Медиа-лаборатории Массачусетского технологического института (MIT’s Media Lab) предложили совершенно иной подход: они превратили дисплей в гигантскую камеру без объектива, которая позволяет манипулировать изображениями на экране простыми движениями рук в воздухе.
Дисплей превращается в камеру: управление компьютером жестами рукМногие инженеры и учёные работают над подобными интерфейсами, посредством которых, например, возможно перемещать окна программ и изменять их размер, просто указывая на их границы пальцами, или вращать виртуальный объект в трёх плоскостях в 3D-редакторах. Некоторые из интерфейсов восприятия движений рук уже прошли стадию коммерциализации, но по словам кандидата наук Мэтью Хирша (Matthew Hirsch) из Media Lab, обычно они используют несколько дорогостоящих камер или специальные метки для отслеживания их перемещения в пространстве.
В экспериментальных системах наподобие Project Natal от Microsoft применяются камеры, фиксирующие движения пользователя. Их смещение от центра экрана означает некорректную работу на коротком расстоянии, а функциональность несравнима с точностью взаимодействия с сенсорными панелями. Характеристики могут быть повышены размещением камер на некотором отдалении за экраном, как поступили инженеры софтверного гиганта в случае SecondLight, но такая техника увеличивает габариты устройства и требует недешёвого аппаратного обеспечения для поочерёдного изменения состояния дисплея с прозрачного на непроницаемый. Цель же исследователей из Media Lab – технология распознавания движений, встроенная в тонкий жидкокристаллический экран без дополнительных перчаток или чего-то подобного.
Разработанная в лаборатории система использует массивы жидких кристаллов и оптических сенсоров позади них. Кристаллы выступают в некотором смысле как объективы, отображая чёрно-белую маску, пропускающую к сенсорам свет. Она появляется и исчезает настолько быстро вне зависимости от выводимого на экран изображения, что пользователь попросту не замечает этого. Простейший способ понять принцип работы системы по словам Дугласа Ленмена (Douglas Lanman) – это представить, что вместо ЖК-экрана перед сенсорами расположена матрица миниатюрных отверстий. Свет проходит через каждое и попадает на некоторое количество чувствительных элементов, создавая изображение с низким разрешением. Поскольку в массиве изображений их координаты немного отличаются, это позволяет получить детализированную картину находящегося перед экраном объекта. Матрица отверстий симулируется путём изменения цвета отдельных жидких кристаллов. Например, центральный пиксель блока 19 х 19 – белый, тогда как остальные являются чёрными.
Дисплей превращается в камеру: управление компьютером жестами рукПроблема в том, что отверстия пропускают слишком мало света к сенсорам и необходимо длительное время экспозиции, а это, по понятым причинам, абсолютно непрактично для работы с электронными устройствами – компьютерами, мобильными телефонами или подобной техникой. Поэтому вместо симметричной маски каждый блок размером 19 х 19 пикселей делится на чёрно-белые прямоугольники различных размеров. Количество фигур обоих цветов одинаково, а значит через маску проходит больше света. Но все блоки прилегают друг к другу, и создаваемые ими "проекции" на сенсорах частично перекрываются, смешивая их в "кашу". Проблема решается благодаря маске: система вычисляет на её основе верные характеристики изображений, получая ту же картинку, что и с массивом из отверстий, но гораздо быстрее.
Технология настолько нова, что исследователи ещё не успели построить действующий прототип, а лишь опробовали экспериментальную модель в лаборатории для тестирования идеи. Как и некоторые существующие системы сенсорных экранов, в модели используется камера на некотором удалении от дисплея для записи изображений, пропускаемых чёрно-белыми блоками. Таким образом проверяется работоспособность алгоритмов. В экспериментах учёные показали, что они могут манипулировать объектами на экране путём жестикуляции руками практически так же, как процесс происходил бы с сенсорной панелью.
По словам директора Лаборатории графики (Graphics Laboratory) в Институте креативных технологий Университета Южной Калифорнии (University of Southern California's Institute for Creative Technologies) Пола Дебевека (Paul Debevec), чья докторская диссертация помогла в создании визуальных эффектов для фильма "Матрица", среди всех разрабатывающихся интерфейсов он выбрал бы именно этот, поскольку он действительно встроен в экран: "Всем нужен дисплей в любом случае. И эта технология намного лучше, чем простое определение места касания пальцами. Это настоящее восприятие трёхмерного изображения руки перед экраном".
Исследователи уже изучили возможность превращения дисплея в камеру с высоким разрешением. Вместо получения нечётких трёхмерных изображений, особая маска чёрно-белых квадратов захватывает двумерное на заданном фокусном расстоянии. Разрешение будет пропорционально количеству встроенных сенсоров, поэтому оно может быть гораздо большим, чем в обычной веб-камере. Некоторые разработчики технологии идут ещё дальше в обозрении её перспектив: история вычислительных устройств переносила обработку данных с мейнфреймов в настольные системы, а затем и в мобильные. Теперь наступает черёд экранов, где каждый пиксель скрывает "компьютер", изменяя представление о взаимодействии человека и электронных устройств.
