Будущее рядом, будущее далеко

Компьютеры из огромных шкафов пожирающих мегаватты энергии превратились в бытовые приборы (что в прочем не мешает им жрать энергию) и хоть их начинка подчиняясь закону Мура удваивает свою производительность каждый год ситуация в области взаимодействия человека с компьютером кажется застыла на месте. Все те же мониторы (пусть тонкие и с большим разрешением), все те же клавиатуры и мышки. Да, меняется качество, чувствительность. Но в основном форма и цвет. (Кому розовую мышку в стразиках?)

Лишь недавно стараниями яблочной компании и их извечного квадратно-гнездового антагониста стали продвигаться сенсорные интерфейсы.
Но.
На дворе XXI век. Год 2012-й. Где голографические телевизоры, разумные роботы и техника управляемая силой мысли? А нету их. Или не совсем? Почти все то, про что я расскажу ниже можно купить в магазине. И это даже будет работать. Вопрос в том как.

Нейроинтерфейсы

Пожалуй, самый заманчивый вид перспективных интерфейсов. Что может быть лучше, чем управлять компьютером силой мысли. Подобные интерфейсы уже сейчас существуют и используются. Например, для общения с парализованными. И даже цена таких устройств не проблема — самое простое можно купить менее чем за сто евро. И размеры таких устройств уже позволяют сделать их портативными и просто носить на голове, а не таскать за собой аппаратный шкаф и два чемодана батареек. Так в чем проблема, почему нельзя уже сейчас отказаться от старых пыльных клавиатур и мышек? Почему нельзя напрямую транслировать мысли из головы прямо в блог?

Дело в том, что не все так радужно, как уверяют рекламы производители подобных устройств. Вся суть проблемы заключается в программном обеспечении. ЭЭГ — это большой поток данных, которые, для нормального управления, нужно обрабатывать в реальном времени. Прибавьте к этому довольно сырое программное обеспечение, и вы получите реальное состояние дел.
К тому же далеко не каждый согласится надеть на голову резиновую шапочку с проводами или металлического краба Emotiv. И, несмотря на все это я задумываюсь о покупке такого устройства. Пока не решил какого.

Считывать ЭЭГ — это как по шуму кулеров в компьютере пытаться восстановить программу.

Emotiv EPOC

Это полноценный прибор ЭЭГ. 14 каналов + 2 опорных (убирают шумы создаваемые мимикой и мышечной активностью). Натолкнулся я на него первый раз на ютубе, где на какой то выставке показывали впечатляющую демку его использования — в игрушке маг силой мысли двигал камни и возводил мосты.

Помимо нейроинтерфейса в устройстве есть два гироскопа, которые можно использовать для определения положения головы и управления мышкой. Еще из плюсов — основываясь на информации опорного канала можно считывать мимику. То есть устройство может определить — хмуритесь вы, улыбаетесь или подмигиваете. На этом тоже можно построить управление компьютером. Теоретически, если прибавить к этому информацию ЭЭГ — можно определить эмоции пользователя.

Более подробно прибор рассмотрен тут.

NeuroSky MindWave

Более простой и значительно более дешевый прибор. Всего один канал + опорный. Ребята из NeuroSky серьезно задались целью популяризировать нейроинтерфейсы. И у них это неплохо получается. Например — замечательные кошачьи уши, управляемые мозговыми волнами основаны на их технологии. Еще различные игрушки вроде Force trainer и Mindflex.

Главные преимущества этого прибора — простота и цена. Единственный канал регистрирует только степень концентрации пользователя. То есть используя его можно выполнять только одно действие. Например, клик мышкой. Ну и еще он может определить, когда вы моргаете, основываясь на данных опорного канала. В наличии бесплатное SDK для разработчиков под windows, macos, ios и android. Да, этот интерфейс можно использовать с мобильными устройствами, т.к. в качестве беспроводного интерфейса используется обыкновенный bluetooth.

Не знаю минус это или плюс, но питается хедсет от обычной пальчиковой батарейки, что вкупе с беспроводным интерфейсом вызывает вопрос о продолжительности работы.

Голосовое управление

Голосовое управление — второй по популярности штамп фантастических фильмов. И это понятно — друг с другом мы общаемся именно так. Как в фильмах все красиво и просто… Как это работает в реальности? Примерно так.

Siri

Интересно, кто то еще не слышал о этом поделии произведении яблочной компании? Сомневаюсь что такие остались. Во всяком случае, они врятли читают этот блог.

До Siri голосовое управление было в макоси. Причем давно было. И даже работало. Просто мало кто им пользовался.

И сири и предшествующие ей голосовые контролы плохо понимают языки кроме английского. Тут сложилось два фактора:

1. И эппл и другие компании в первую очередь ориентируются на американский рынок. Там денег больше.
2. Чтобы программа хорошо понимала язык нужно, чтобы и разработчики его хорошо знали и понимали. А нас или китайцев фиг поймешь. Мы сами себя и друг друга с трудом понимаем.

И несмотря на все это, сири кажется просто таки революционным продуктом. Главное ее преимущество в том что она не просто понимает естественный язык (или скорее притворяется, сири чем то похожа на элизу) но еще и отвечает. Причем отвечает внятно и с некоторой долей юмора. Это меня в Сири поразило больше всего.

Vingo

Винго — это такой аналог Сири для бедных пользователей андроида. Есть две его версии тестовая и обычная. Тестовая в российском плэймаркете не доступна. Скорее всего, потому что не понимает русского языка.

Обычная версия… Русский понимает но плохо и, как и сири, за каждым чихом лезет в интернет. Умеет отправлять смс, запускать приложения, чирикать в твиттер ту лабуду что распознала из вашей речи.

А еще она умеет намертво вешать телефон, отправлять его в циклический ребут и выключать до перезагрузки динамик с микрофоном. Но никто и не обещал что будет легко.

Dragon Dictation

Это целое семейство программ. Есть и для PC и для MacOS и для iOS. Предназначены в первую очередь они для того чтобы превращать речь в текст. К примеру вы приходите на лекцию с диктофоном, скармливаете запись программе и получаете текст лекции. Хотя некоторые верссии для настольных платформ могут и выполнять запрограммированные действия.

Настольные версии русского языка не понимают. А вот мобильная пытается. Получается более или менее не плохо(по сравнению с конкурентами). А главный плюс — она не лезет для распознавания речи в интернет, а все делает локально.

Но, несмотря на все плюсы работа с этой программой напоминает видюшку выше. А еще вспоминается опыт работы с автоматическими переводчиками. Результат диктовки выходит презабавнейший. К примеру, вот текст предыдущего предложения надиктованного в Dragon dictation для iOS:

«Результат диктовки выходит презабавные шит»

Интерактивные перчатки

Так как же быть с вводом текста, если мысли читать компьютеры пока что не научились, а извещать всех окружающих о своих мыслях надиктовывая их в микрофон совсем не хочется? Тут вспоминается еще один штамп из фантастики — перчатка распознающая жесты.
Надо сказать, что в этой области все работает гораздо лучше чем в случае распознавания голоса. Да и сам интерфейс привычнее, особенно если вы умеете печатать вслепую.
Как и нейроинтерфейсы — интерактивные перчатки имеют и довольно серьезное медицинское применение. Есть попытки адаптировать их для автоматического перевода с языка жестов. Ну или по крайней мере — некоторой адаптации языка жестов. Результаты, честно говоря, не слишком впечатляют. Но это скорее связано с несовершенством систем перевода а не самих перчаток.

…Жаб сделал несколько шагов к мечети, на его левой руке была тяжелая компьютерная перчатка, переводящая Язык Охотников в текст для Молчуньи…

…«Если что случится, – Жаб шевельнул пальцами левой руки, – вламывайся прямо в ворота, потом разберемся. И надень перчатку, чтобы я мог тебя слышать».

– Уже надела, – раздался в наушниках синтетический голос знакового интерпретатора. – Не задерживайтесь слишком долго…

[Дмитрий Янковский Правила подводной охоты]

Можно выделить три группы конструкций таких перчаток.

• Контактные — на перчатку нанесены контактные площадки и пользователь, замыкая те или иные комбинации контактов, вводит данные. Яркий представитель — Peregrine. О них чуть ниже.
• На сенсорах изгиба — в перчатку встроено некоторое количество сенсоров изгиба и, очень часто, гироскоп. Так перчатка определяет какие пальцы согнуты и положение руки. И в итоге распознает жест. Наибольшее распространение получили в системах виртуальной реальности.
• Комбинированные — в той или иной степени совмещают в себе первые два варианта. Например Keyglove.

Честно говоря, такой интерфейс уже кажется устаревшим. Но наиболее вероятно, что в будущем мы увидим большое количество подобных девайсов. Почему? Они просты и дешевы — контактная перчатка в плане электроники очень мало отличается от обычной клавиатуры. Некоторые умельцы так и поступают — потрошат клавиатуру и присоединяют вместо кнопок контактную перчатку к контроллеру.

Peregrine

Про перчатку от Peregrine я уже писал. Главным её недостатком

Keyglove

В отличие от перчатки Peregrine, проект Keyglove представляет из себя скорее конструктор + SDK

Пара слов в заключение.

Как я уже и говорил — перчатка, как интерфейс, устарела не успев набрать достаточной популярности. И вот почему —

Системы распознавания жестов гораздо проще — не требуют от пользователя надевать неудобную перчатку, да и в плане оборудования требуют зачастую только наличия вэбкамеры (или двух как в случае кинекта или GameBoy 3Ds).
Про такие системы и пойдет речь дальше.

Eye/head/body tracking

Я полагаю, многие видели фильм «Особое мнение». Момент, когда Ривз дережирует данными, размахивая при этом руками в перчатках-маркерах, уже успел стать культовым. Многим пришелся по душе такой интерфейс. Но не многие задумываются о том, что махать вот так вот руками целый рабочий день… Среди офисных работников найдется мало желающих. За то в области развлечений распознавание поз, движений головы или другие упрощенные варианты MotionCapture цветут буйным цветом. Даже то, что в вашем телефоне есть акселометр и игра отзывается на наклоны и повороты телефона можно отнести к этой технологии.

Тракир

Одна из самых старых систем Head-tracking’а хорошо знакомая любителям авиасимуляторов. И это понятно — гораздо удобнее управлять видом при помощи естественных движений головы, а не очередной 127-й пимпочкой на навороченном джойстике.

Как и WiiMote — тракир работает при помощи инфракрасных меток. Пользователь наклеивает несколько меток на кепку или наушники. Или надевает специальную штангу с метками на наушники. В самом устройстве расположены инфракрасная подсветка и камера. Камера принимает отраженный маркерами свет, и драйвер устройства определяет их положение в пространстве. Простая и эффективная, но не совсем удобная схема.

Изза своего неудобства тракир и не получил большого распространения нигде кроме ярых фанатов авиасимуляторов — те готовы мириться и не с такими неудобствами.

WiiMote

Гораздо более распространенное устройство. Технически мало отличается от Тракир.

Помимо камеры контроллер так же содержит в себе гироскоп и акселометр. То есть информация рассчитанная через определение положения маркеров дополняется данными с гироскопа. Это увеличивает точность.

Как и тракир, WiiMote предназначен в первую очередь для игр. Хотя существует SDK созданное фанатами для подключения WiiMote к PC и некоторое количество довольно интересных проектов с его использованием.

PlayStation Move

Еще одна модификация той же идеи.

Здесь Sony пришлось догонять Nintendo и система вышла менее интересной. Впрочем, Sony с их кровавыми игрушками и заточенностью под продвинутую графику спортивные игры и новые способы управления в играх, наверное, кажутся второстепенными.

Помимо камеры устройство содержит еще и стереомикрофон. Это делает возможным  голосовое управление. Как оно работает? — Смотри выше.

Кинект

Аналог предыдущих двух систем от Microsoft предназначенный для использования вместе с XBox.

В очередной раз микрософт меня убеждает, что лучше бы им заниматься производством оборудования, а не писать операционки. Они поступили проще и изящнее. Кинект вообще не требует от пользователя брать в руки контроллер. Вся система состоит из инфракрасного дальномера и цветной камеры, которая смотрит на пользователя и восстанавливает его позу. Это, например, позволяет не просто дергать персонажу руками в игре вслед за игроком, а полностью повторять его движения. Эдакий упрощенный MotionCapture.

Как и Playstation Move, в кинекте встроен набор микрофонов, позволяющий определять еще и положение источника звуков и отдавать голосовые команды.

А если прибавить к этому хорошую документацию и наличие инструментов для разработчиков… В результате мы имеем очень интересный и перспективный девайс как и WiiMote породивший множество фанатских проектов.

Наголовные дисплеи

Все, что было выше — это все устройства ввода информации. А как быть с выводом?
С выводом информации и проще и одновременно сложнее. У человека не так много чувств чтобы через них можно было получать информацию.

• Слух — выводить звуки компьютеры научились, чуть ли не раньше, чем изображение и текст. Со звуком все хорошо. Геймеры в навороченных семиканальных наушниках подтверждают.
• Обоняние — тут все плохо. Да и зачем? Так и представляю вирусы атакующие генераторы запахов и выдающие совсем не аромат роз.
• Осязание — в большинстве случаев все ограничивается виброоткликом. Хотя как обычно японцы впереди планеты всей — разрабатывают отдельные устройства и даже целые костюмы для передачи тактильных ощущений через интернет.
• Ощущение времени и пространства — тут без хирургического вмешательства не обойтись, да и ненужно.
• И наконец, зрение. Огромную часть информации об окружающем мире наш мозг получает именно через зрение. Наверное, именно поэтому основной способ получения информации от компьютеров — визуальный. Текстовый или графический.

Так как же обстоят дела с выводом визуальной информации? После выхода фильма Аватар опять вошли в моду стереоочки в кинотеатрах, а производители телевизоров начали штамповать очки для телевизоров. С большим воодушевлением продавая новинку родом из позапрошлого уже века. Вообще говоря, это не плохо. Но все же, немного не то, чего хочется фанатам фантастики :). Объемная картинка в кинотеатре, ради которой приходиться напяливать заляпанные очки это не висящая в воздухе голограмма звезды смерти, которую можно потрогать руками.

Однако некоторые интересные штуки есть. Про них и поговорим.

Google glass

Самый интересный (для меня) проект от гугл. Про него ходит столько слухов и от проекта столько ожиданий… Что я боюсь момента его окончательного релиза. Очень многие сильно разочаруются. 

Надо сказать, что это далеко не первый проект с использованием дополненной реальности. К примеру есть Ауразма, Джунайо и даже в Nintendo 3Ds есть встроенные игры с дополненной реальностью. И совместить с наголовными дисплеями тоже не идея гугл. Но вот вывести дополненную реальность с экранов смартфонов на улицы — я в восторге от этой идеи.

Вот какие факты о стекле от гугл удалось узнать с помощью Ёжика:

• Объявлен: 27 июня 2012 на конференции для разработчиков
• Доступность: предзаказ для участников гугловских конференций Google I/O Wednesday Keynote. Стоит $1500. Первые экземпляры будут доставлены не раньше 2013
• ARM cpu, много памяти, беспроводные интерфейсы. Судя по скорости демонстрации, wifi.
• Камера (характеристики не известны), расположенная таким образом, что картинка совпадает с той, что видит владелец очков.
• Микрофон и правый наушник. Говорят, что у демо-модели он сделан так, что хорошо слышно, только если приложить руку к голове.
• Гироскоп, акселерометр и компас
• В финальной версии должен быть GPS, так как основной функционал связан с навигацией
• О батарейках ничего не известно
• Пока модель не совместима с другими очками, но гугл нанял дизайнера оптики и оправ, чтоб готовый продукт был совместим с медицинскими очками
• Неизвестно, будут ли все мозги девайса встроенными, или он будет зависим от смартфона.

Epson Moverio BT-100

Еще один прозрачный наголовный дисплей.

Oculus Rift

Развитие темы шлемов виртуальной реальности.

Заключение

Так какое оно будущее? Скорее всего, такое, каким мы не ожидаем его увидеть. Но все же, если попробовать представить и совместить все выше перечисленное, то получается довольно интересная картинка — наголовный дисплей с дополненной реальностью, который может определить на что вы смотрите плюс нейроинтерфейс способный определить насколько вы на этом предмете сконцентрированы, и какие эмоции это у вас вызывает. Добавьте к этому голосовое управление и интерфейс, основанный на жестах.