Инструкция для новичка: как программировать дополненную реальность для Smart Glass

Обзор

В этом туториале я поделюсь основной информацией об умных очках. Затем, используя пример проекта с хакатона, проведу вас через весь процесс. А начнем мы с настройки умных очков и дойдём до отображения экрана дисплея по беспроводной сети, а также установки любого приложения на них.

Примечание: эта статья ознакомит вас с процессом работы с умными очками. Я пользуюсь Mad Gaze в качестве рабочего устройства. Их было проще всего взять в лаборатории. Никакого желания продвигать какой-либо продукт здесь нет.

Мотивация

Я не смогла найти в сети такой туториал, чтобы он объяснил все о разработке умных очков. А после того, как я опубликовала описание своего хакатон-проекта, им заинтересовались и многие мои знакомые.

Мой опыт в сфере создания приложения для умных очков достаточно легко повторить, и поэтому я решила написать данное руководство. Надеюсь, что вам понравится, и удачи в разработке!

Основы

Итак, что же такое “умные очки”? В нашем случае “умные очки” — это просто очки с облегченной портабельной версией Android, встроенной в правую дужку. Здесь же находится еще один небольшой кусочек очков для проецирования на экран монитора.

Основные контроллеры

• Навигация по экрану с помощью мышки (как на компьютере): двигайте палец по тачпаду.
• Ввод/Выбор: нажмите кнопку тачпада.
• Возврат к предыдущей странице: двойное нажатие по тачпаду.
• Прокрутить экран: двойной клик (не зажимая) по тачпаду и затем прокрутка.
• Включить или выключить питание: кнопка питания находится на внутренней стороне правой дужки. Зажмите и удерживайте кнопку вкл/выкл питания на устройстве.

Сама нарисовала… ????

Вот так выглядит экран. Я отображаю дисплей экрана очков на компьютер (покажу, как это сделать, в следующем разделе). Экран ниже показывает список доступных приложений.

Это как пользоваться своим телефоном через виртуальный интерфейс прямо перед собой. Точно так же, как в обычных смартфонах, вы можете копаться в Интернете, делать фотографии и так далее. Приложения для устройства будут скачиваться через официальный магазин, но сейчас я научу вас, как загружать абсолютно любые приложения.

Фотография, снятая на мой телефон xD

Инструменты

Вы можете использовать и другие инструменты, если хотите ????

Аппаратные средства

• Компьютер с ОС Windows или любой другой компьютер, на котором можно запустить подобные программы.
• Умные очки с ОС Android (Mad Gaze, Ares)
• Кабель USB для подключения умных очков к компьютеру

Программы

• Android Studio.
• [email protected] для отображения экрана Android.
• Wifi / 3G / 4G / связь, которую можно расширить для нескольких устройств.

Начинаем

Шаги с 1 по 11 описывают, как отобразить экран ваших умных очков на компьютер. Шаги 12 и 13 описывают, как запускать приложения на очках. 

Следуйте всем инструкциям здесь, чтобы установить [email protected]

ПО попросит вас также установить Java и Android SDK. Также нужно правильно настроить переменные окружения. Например, ANDROID_HOME и PATH. После запуска файла jar [email protected], вам предложат ввести полный путь к вашему экзешнику ADB.

Что такое ADB (Android Debugging Bridge)? Это программа командной строки, которая нужна для коммуникации с вашим устройством Android. Обычно находится здесь: android_sdk/platform-tools/adb.exe

2. Настройка переменных окружения

(Можете пропустить этот шаг, если с ним нет проблем)

Что здесь делают переменные окружения? Они сообщают вашему компьютеру, где найти файлы во время выполнения определенной команды. Например, перед тем, как настроить переменную окружения, вам нужно ввести весь путь к исполняемому файлу javaC:\Users\tina2\Downloads\jdk-13.0.1_windows-x64_bin\jdk-13.0.1\bin\java, а не просто java для вызова команды.

На панели управления компьютера с ОС Windows поищите “Редактировать системные переменные окружения” или что-то подобное. Кликните, чтобы открыть вкладку “Переменные окружения”. Нажмите, чтобы создать новую “New…” внизу справа и затем введите ANDROID_HOME в поле имени переменной и C:\Users\<your_username>\AppData\Local\Android\Sdk в поле значения переменной.

Добавление переменной окружения ANDROID_HOME

Чтобы выполнить команду java прямо в терминале, вам нужно добавить путь к вашей папке с Java в PATH. В моем случае он выглядит так C:\Users\tina2\Downloads\jdk-13.0.1_windows-x64_bin\jdk-13.0.1\bin

Аналогично, чтобы вызвать команду adb прямо в терминале, вам нужно добавить путь к экзешнику adb. Для удобства исполнения других команд, вы можете добавить все следующие адреса:

• %ANDROID_HOME%\platform-tools
• %ANDROID_HOME%\tools
• %ANDROID_HOME%\tools\bin

Ниже вы увидите экран, он появляется после двойного клика на строчку с PATH переменной (4-я строчка, как показано выше). Дальше нужно нажать кнопку “New” справа, чтобы добавить новую строчку к PATH переменной. Всего здесь мы добавили 4 строчки. 

3. Подключите ваши умные очки и компьютер к одному wifi / сотовой сети.

4. Подключите ваши умные очки к компьютеру при помощи кабеля USB.

Этот шаг для двух целей. Одна — отображение экрана при помощи кабеля. А вторая — выяснить IP умных очков и сделать, так, чтобы они слушали порт TCP/IP в следующих шагах.

5. Проверьте, успешно ли подключились умные очки. Откройте терминал и напишите команду:

adb devices

В случае успешного выполнения вы увидите следующий экран:

6. Выведите экран ваших умных очков на компьютер при помощи [email protected]

java -jar C:\Users\tina2\Downloads\droidAtScreen-1.1.jar

Если все будет хорошо, вы увидите следующий экран:

Чтобы отобразить экран ваших умных очков, выполните следующую команду. Она поможет получить IP-адрес ваших умных очков. У меня это 172.20.10.12.

adb shell ip route

Почему IP-адрес умных очков именно 172.20.10.12?Строчка 172.20.10.0/28 dev wlan0 photo kernel scope link src 172.20.10.12 metric 310 обозначает, что пакеты, отправляемые на любой IP-адрес через подсеть 172.20.10.0/28, должны проходить через сетевой интерфейс wlan0 с адресом 172.20.10.12, как исходный адрес источника. С момента, как умные очки посылают пакет, мы идентифицируем их этим IP-адресом.

7. Сделайте так, чтобы ADB слушал TCP/IP с порта 5555 (можете пользоваться любым другим незанятым портом)

adb tcpip 5555

8. Отключите ваш кабель USB от умных очков и компьютера

Вы должны увидеть, что “Список подсоединенных устройств” пустой при выполненииadb devices

9. Подключите умные очки без помощи кабеля (замените IP-адрес на свой собственный)

adb connect 172.20.10.12:5555

Вы снова увидите свои умные очки в “Списке подсоединенных устройств” при выполнении командыadb devices

10. Поздравляю! Теперь вы увидите экран своих умных очков на компьютере. 

11. Настройте размер вашего экрана —  нажмите на кнопку увеличения внизу:

12. Откройте проект приложения в Android Studio

Как я уже описывала выше, умные очки действительно работают на ОС Android. Любое приложение Android может быть скомпилировано и установлено на умные очкипри условии, что версия операционной системы совместима с приложением. После подключения ваших очков к компьютеру (любым способом: с проводом или без), вы можете выбрать устройство и запустить приложение в Android studio:

13. Запуск приложения на умных очках

После успешной установки вы увидите, что ваше приложение появилось среди иконок установленных программ. Нажмите на приложение и пользуйтесь им, как другими обычными.

Как загрузить любые приложения на Android?

Пройдите по адресу https://apkpure.com.

Найдите apk, который вам нужен и скачайте его.

После подключения ADB к вашему устройству установите apk:

adb install ~/Downloads/example.apk

Подведем итог

После дня экспериментов с умными очками для проекта на хакатоне я собрала свой опыт с MadGaze Ares в следующие тезисы:

• Короткое время жизни батареи: за 3 часа показа моего демо на хакатоне батарея разряжалась 4 раза.
• Долгое время зарядки: когда устройство включено и подключено к wifi, нужно 4 минуты для зарядки на 1%.
• Недостаточно крутая кривая обучения для управления очками: есть только две кнопки (питание/тачпад) и два типа жестов (нажатие/двойное нажатие).
• Ввод текста можно улучшить: теперь вам нужно поместить курсор мышки в точное положение элемента на вашей клавиатуре. Размер клавиатуры может быть больше. К счастью, в большинстве приложений ввод текста требуется очень редко.
• Вес умных очков сопоставим с весом обычных очков: это большой плюс для меня. Всеми остальными VR/AR гарнитурами тяжело пользоваться весь день.
• Глаза не устают, когда смотрят в экран: хоть экран и маленький, мне комфортно пользоваться им на протяжении долгого времени.
• Нет слишком сильного перегревания: это приравнивается к другим устройствам похожего веса, как Google Glass. Я только почувствовала немного больше тепла при запуске некоторых приложений.
• Общая производительность похожа на телефоны на Android: скорость и время ответа не второстепенное дело для обычных телефонов на Android.
• Точное распознавание и управление голосом: если вы произносите название приложения, умные очки автоматически открывают его для вас. Точность распознавания высокая и время ответа достаточно короткое.
• Особенно восхитительно фотографировать при помощи очков. Это прекрасное ощущение, когда вы делаете снимок сцены, которую только что видели в своих очках.
• Мода в дизайне: я думаю эти очки хорошо смотрятся и, кроме того, вы привлечете внимание окружающих. Они как минимум, остановятся и посмотрят на вас с любопытством.

И в заключение

Теперь у вас есть представление о том, как выглядят умные очки, как отобразить изображение с очков без провода, создать билд и установить любое приложение на них. Технология умных очков имеет свои ограничения, но определенно стоит того, чтобы ее попробовали!

---

Перевод статьи 李婷婷 Lee Ting Ting: Beginner’s Guide to Developing on Augmented Reality Smart Glass