Тренажёр Брайля 4

Мотивация

Тренажёр Брайля - активно развивающийся проект по обучению незрячих чтению рельефным шрифтом. Начался летом 2016 года с попытки создать круговой дисплей Брайля. В разное время в нём участвовали более 20 различных людей; создано более шести прототипов. Выиграл хакатон BRICKS Maker Competition, грант "Технологии возможностей", 31.08.2019 был продемонстрирован на главной сцене фестиваля Rukami на ВДНХ. Создание приложения для Android может дополнить существующие тренажёры или стать основой совершенно нового способа обучения.

Описание концепта

На начальном этапе проекта (и на текущем этапе разработки) для самостоятельного обучения азбуке Брайля предлагалось конструировать сложные приборы с ячейками Брайля и клавишами.
Предлагается другой подход: пусть незрячий на специальной доске с отверстиями набирает буквы (штырьками или шариками), а набранное может проверять программа с помощью камеры. Логично использовать смартфон с камерой и вибромотором. Вибрацией можно передавать тактильные ощущения, ознакомить незрячего с буквами (пользователь водит пальцем по экрану, в нужный момент - вибрация).

Так можно сделать пошаговый курс для обучения "с нуля": теория (голосом) + практика (вибрация, набор букв на доске) + проверочные задания (набор букв на доске, возможно, дополнительные рельефные карточки).

Смартфону нужна подставка для сканирования символов Брайля. Эту подставку можно использовать также для чтения камерой смартфона обычных, плоскопечатных книг (подобные проекты уже есть).

Брайль и ПриМат

В первом семестре третьего курса в учебном плане курсовая работа по Java. Надеюсь, разрешат работу по группам.
Предлагается сделать приложение под Android, которое будет выводить буквы, ощущаемые через вибрацию. Затем - при наличии времени - посетить Общество слепых, спросить, хорошо ли вышло и в каком направлении двигаться.

Существующие Android-программы для незрячих

Google рекомендует разработчикам Android-приложений делать их дружественными для незрячих: https://developer.android.com/guide/topics/ui/accessibility/apps.html#label-elements
Есть и специальное приложение - сканер доступности, сделанное Google для разработчиков, которое позволяет оценить дружественность своего приложения.

Ниже приведены списки известных приложений для помощи людям с нарушениями зрения.

Комплексные решения

1. Google BrailleBack - поддержка дисплеев Брайля, подключаемых по Bluetooth; работает в связке с TalkBack. Есть опция симуляции дисплея Брайля на экране.
2. Android Accessibility Suite - официальный набор от Google. Читает тексты и информацию на экране вслух (TalkBack), распознаёт и читает текст на изображениях, позволяет сделать удобную навигацию в меню смартфона.
3. Mobile Accessibility - чтение с экрана + набор из якобы упрощённых для доступа приложений: телефон, СМС, календарь, почта, аудиоплеер... поддержка дисплеев Брайля

Обучение

Чтение вслух электронных книг

Распознавание и озвучивание изображений / текста

Кроме Android Accessibility Suite (см. "комплексные решения"), доступны приложения:

1. TapTapSee - описывает вслух объекты в поле зрения камеры, наведя смартфон на объект и два раза нажав на экран. Требует интернет-соединение и TalkBack.
2. Envision AI - аналог TapTapSee

Иное

1. Audex - озвучивает нажатия, свайпы и прочие действия (примерно как NVDA мышку). Видимо, часто используется незрячими.