Каждый, кто хоть немного интересуется развитием мобильной индустрии, знает, что компания Nokia работает над созданием нового поколения пользовательского интерфейса Nokia S60 Touch, подобного Apple Multi-Touch. Несмотря на впечатляющее видео и пестрые заголовки типа "новая сенсорная структура", "супербыстродействующий пользовательский интерфейс", мало что известно о том, как на самом деле будет работать Nokia S60 Touch.
Наконец, у нас появилась возможность пролить свет на эту новую технологию, так как в руки попал патент «Nokia Touch User Interface», вышедший в июне 2007 года, через полгода после опубликования патента на Apple Multi-Touch. И надо сказать, есть чему удивляться!
Разработчики Nokia не только смогли повторить достижения Apple в этой сфере, им также удалось развить саму технологию пользовательского интерфейса на базе сенсорного управления.
Представьте себе сенсорный интерфейс для мобильных устройств, который фактически не требует тактильного контакта, а способен отслеживать жесты руки в трехмерном пространстве и даже распознавать их как команды.
Традиционные функций технологии Nokia multi-touch
После релиза интерфейса iPhone, компания Nokia, чтобы не изобретать колесо заново, занялась поиском своей альтернативы технологии multi-touch и остановилась на разработке, в основе которой лежит активная матрица LCD (сокращенно AMLCD) со встроенным оптическим сенсорным экраном.
Разработчики Nokia оформили лицензию на технологию AMLCD, созданную фирмой Planar Inc., подкрепили ее парочкой патентов, дополнили некоторыми электронными способностями восприятия от Canestia Inc., также запатентовав их, и начали развивать свое собственное устройство с интерфейсом multi-touch.
Результатом их трудов стал сенсорный экран на базе технологии AMLCD, способный распознавать множественные жесты. Устройство оснащено оптическими сенсорами, встроенными в дисплей, которые могут распознавать расположение пальцев и фиксировать их движения.
Эти зафиксированные движения интерпретируются как команды управления, в результате чего жесты одного, двух или нескольких пальцев могут быть использованы для выполнения различных операций. В самом патенте указаны такие примеры работы этой технологии:
Жесты одним пальцем:
- круговые вращения пальца по или против часовой стрелки означают браузинг, просмотр списка приложений или команд;
- последовательное "кликание" одним пальцем означает запуск/выполнение предварительно выбранной опции (подобно двойному щелчку мыши);
- если палец остается неподвижным (в течение определенного интервала времени) над какой-либо иконкой/объектом, это означает команду "ВЫДЕЛИТЬ" данный объект/иконку;
- палец остается над каким-то пунктом/иконкой/объектом с последующим медленным движением - выбор объекта;
- палец своим движением описывает скрещивающиеся линии подобно букве Х (Х-mark) - команда "Удалить";
- перпендикулярное движение пальца, описывающее галочку (Check mark) - команда "ПРИНЯТЬ";
- замкнутая линия вокруг группы объектов - одновременное выделение группы объектов.
Жесты двумя пальцами:
- линейное приближение/отдаление (сомкнутые пальцы приближаются, затем разъединяются, и наоборот) - управление зумом (увеличить/уменьшить) и регулирование размера;
- одновременное касание объекта/иконки двумя пальцами означает выбор объекта/иконки для регулировки размера (например, фото);
- одновременное постукивание двумя пальцами над объектом/иконкой - присвоение или проверка статуса "High level importance" (высокий уровень важности, приоритет);
- один палец остается над иконкой/объектом, после чего появляется специальное меню; второй палец совершает круговые движения, одновременно оба пальца плавно двигаются вверх/вниз - таким способом происходит выбор опций меню.
Комбинированные жесты/комады:
- КОПИРОВАТЬ=ВЫБРАТЬ + Check mark (вблизи от выбранного объекта);
- ВЫРЕЗАТЬ= ВЫБРАТЬ + X-mark;
- команда ВСТАВИТЬ основывается на команде КОПИРОВАТЬ. Предполагается, что индикатор содержимого буфера обмена видимый на экране после копирования, после этого один легкий клик пальцем по дисплею и будет означать команду ВСТАВИТЬ в предварительно выбранное место.
Это только некоторые из жестов, которые могут быть использованы в новом интерфейсе multi-touch от Nokia. В сущности, это всего лишь повторение достижений Apple прошлогодней давности с некоторыми расхождениями. А вот инновационный вклад разработчиков Nokia в технологию multi-touch заключается в возможности распознавать жесты руки в трехмерном пространстве.
Интерфейс Nokia S60 3D Touchless
Чтобы выйти за рамки прикосновений и создать трехмерный интерфейс, разработчики Nokia решили использовать сверхзвуковые преобразователи Ultrasonic Transducer (UST), расположенные по периметру дисплея. Эти преобразователи испускают сверхзвуковые волны, которые распространяются по воздуху. Когда палец становится на пути распространения волны, она отражается, и этот сигнал фиксируется преобразователем.
Три или более преобразователя (на рисунке обозначены 14 A-B-C), расположенные по периметру мобильного устройства, создают рабочую область в 10-20 см над дисплеем, где местоположение и движения пальцев пользователя ( 20А и В) в реальном времени могут обнаруживаться и фиксироваться с помощью метода триангуляции пространства. Затем движения пальцев могут быть интерпретированы как различные трехмерные жесты.
Чтобы облегчить работу с устройством, на дисплее отображаются два указателя, соответствующие положению пальцев пользователя в пространстве. На рисунке они обозначены символами 12А, 12В.
Трехмерные жесты система распознавания интерпретирует как различные объектно-ориентированные команды или команды навигации. В патенте дается несколько примеров таких команд:
Объектно-ориентированные команды:
- ВЫБРАТЬ: - поднимающий жест: палец 1 находится в углу дисплея, палец 2 медленно движется под объектом, который предполагается выбрать;
- КОПИРОВАТЬ: - когда объект выбран, нужно кликнуть одним пальцем на объекте;
- ВСТАВИТЬ: - быстрый двойной клик одним пальцем;
- ДВИГАТЬ: - одновременное движение двумя пальцами, расположенными на двигающихся объектах;
- УДАЛИТЬ: - двойной клик двумя пальцами на предварительно выделенных объектах;
- ВКЛЮЧЕНИЕ/ВЫКЛЮЧЕНИЕ: - команда вкл/выкл основана на смене направлений движения пальцев или изменении ускорения движения пальцев.
Команды навигации:
- ВЫДЕЛИТЬ ОБЪЕКТ: объект определяется из позиции указательного пальца и осуществляется открытием/сжатием ладони ( как показано на рисунке);
- ВПЕРЕД/НАЗАД: круговые движения пальца по/против часовой стрелки;
- УВЕЛИЧИТЬ/УМЕНЬШИТЬ: расширить/сузить расстояние между двумя пальцами;
- ЗАПУСТИТЬ/ВЫПОЛНИТЬ предварительно выбранную иконку/команду: описать круг большим и указательным пальцами (как знак ОК).
В дополнение к этому, 3D-распознавание жестов может быть использовано и для ввода текста. В этом случае виртуальная клавиатура, представленная на дисплее со всевозможными визуальными и аудиоэффектами, обеспечивает необходимую обратную связь с пользователем. Например, символы меняют свой цвет, когда палец движется над ними, становятся больше и выдается характерный звуковой сигнал, когда символ вводится.
Различные комбинации пальцев могут быть использованы и как команды быстрого доступа к различным приложениям. Например, чтобы получить доступ к органайзеру, достаточно ввести символ "С", чтобы войти в адресную книгу, нужно ввести"V" и т.д. А если какое-то приложение не хочет правильно работать и уже начинает вас раздражать, пригрозите ему пальцем, и оно тут же перезагрузится.
Мини-проектор с USTS
Ну а как насчет всех тех разговоров о совместимости старых смартфонов на базе S60 с новой технологией? Может ли новый интерфейс S60 Touch быть установлен на эти аппараты? Вроде ничего этому не мешает, кроме отсутствия необходимых сенсоров для фиксирования жестов на расстоянии.
Разработчики Nokia тоже задумывались над этим вопросом. И придумали крошечный мини-проектор, похожий на тот, который недавно представила компания Microvision. Этот мини-проектор вместе с системой из трех ультразвуковых преобразователей UST соединяется со смартфоном через Bluetooth или UWB (ultra-wide band). И вобщем-то, это все, что нужно для внедрения технологии в старые смартфоны на базе S60. Вместе с определенным объемом памяти и мощностью компьютера, интегрированными в мобильный телефон, вы уже в скором времени можете получить полноценное мобильное устройство с новым интерфейсом S60 Touch.
Это реальность или миф?
Безусловно, приятно читать о новых великолепных изобретениях. Но патент - это всего лишь стопочка листков бумаги, на которой представлена интересная информация в виде своеобразного эскиза. И большинство этих эскизов далеки от реального воплощения в скором будущем.
Так насколько же близки к реализации возможности, описанные в патенте Nokia?
По всей видимости, возможности multi-touch с оптическим сенсорным экраном достаточно реальны в качестве основы для ожидаемого интерфейса S60 Touch. Первые устройства на базе этого интерфейса мир увидит уже через несколько месяцев.
Что касается ультразвуковых преобразователей и распознавания 3D-жестов, врядли эти технологические новинки будут реализованы в первом поколении S60 Touch.
С другой стороны, во время презентации S60 в Лондоне, Ли Уильямс, вице-президент компании Nokia делал довольно прозрачные намеки: "...…это нечто большее, чем ориентация и двойные постукивания, и даже больше чем игровые возможности Wii …" (“… this being so much more then about an orientation and double taps, and even more then a Wii gaming type of options…”).
По всей видимости, он говорил о сочетании сенсорной системы управления, акселераторов и GPS-чипов. Но опять же, может быть, он имел в виду как раз возможности распознавание трехмерных жестов при помощи системы UST. | 
