Тренажёр Брайля 4
Тренажёр Брайля - активно развивающийся проект по обучению незрячих чтению рельефным шрифтом. Начался летом 2016 года с попытки создать круговой дисплей Брайля. В разное время в нём участвовали более 20 различных людей; создано более шести прототипов. Выиграл хакатон BRICKS Maker Competition, грант "Технологии возможностей", 31.08.2019 был продемонстрирован на главной сцене фестиваля Rukami на ВДНХ. Создание приложения для Android может дополнить существующие тренажёры или стать основой совершенно нового способа обучения.
На начальном этапе проекта (и на текущем этапе разработки) для самостоятельного обучения азбуке Брайля предлагалось конструировать сложные приборы с ячейками Брайля и клавишами.
Предлагается другой подход: пусть незрячий на специальной доске с отверстиями набирает буквы (штырьками или шариками), а набранное может проверять программа с помощью камеры. Логично использовать смартфон с камерой и вибромотором. Вибрацией можно передавать тактильные ощущения, ознакомить незрячего с буквами (пользователь водит пальцем по экрану, в нужный момент - вибрация).
Так можно сделать пошаговый курс для обучения "с нуля": теория (голосом) + практика (вибрация, набор букв на доске) + проверочные задания (набор букв на доске, возможно, дополнительные рельефные карточки).
Смартфону нужна подставка для сканирования символов Брайля. Эту подставку можно использовать также для чтения камерой смартфона обычных, плоскопечатных книг (подобные проекты уже есть).
Варианты дизайна, которые я пока придумал, сводятся к двум:
- Камера на кронштейне, обозревает всю доску
- Камера близко к панели, незрячий должен перемещать устройство при сканировании
Вариант (1): сканирование быстрее и можно контролировать правильное положение рук при чтении; хорошо с использованием веб-камеры высокого разрешения. Для системы со смартфоном, считаю, лучше вариант (2): слепому легче ориентироваться (не надо думать об освещении и как расположить камеру, если нужно взять смартфон, не надо искать его на кронштейне), требования к камере ниже + система более портативна.
В варианте (2) предлагаю над каждой ячейкой поместить маркер с номером для помощи системе распознавания.
Распознавание брайлевских символов подходит как тема для КР по методам оптимизации. Оптимизируется точность распознавания при ограничениях на время работы алгоритма (и время тренировки, если там есть машинное обучение). Наукоёмкая часть работы делится на три задачи:
- Распознавание самих брайлевских символов (предложение: нейросеть)
- Распознавание маркеров с номерами (предложение: тоже нейросеть)
- Обработка фотографий - выделение регионов, подозрительных на наличие символов и маркеров (предложение: морфологическая обработка изображений)
В работе можно обосновать применение алгоритмов, найти оптимальные параметры. Если будет желание, попробовать иные алгоритмы (например, если написаны алгоритмы для распознавания символов и маркеров, можно попробовать обрабатывать изображение методом "скользящих окон")
Google рекомендует разработчикам Android-приложений делать их дружественными для незрячих:
https://developer.android.com/guide/topics/ui/accessibility/apps.html#label-elements
Есть и специальное приложение - сканер доступности, сделанное Google для разработчиков, которое позволяет оценить дружественность своего приложения.
Ниже приведены списки известных приложений для помощи людям с нарушениями зрения.
- Google BrailleBack - поддержка дисплеев Брайля, подключаемых по Bluetooth; работает в связке с TalkBack. Есть опция симуляции дисплея Брайля на экране.
- Android Accessibility Suite - официальный набор от Google. Читает тексты и информацию на экране вслух (TalkBack), распознаёт и читает текст на изображениях, позволяет сделать удобную навигацию в меню смартфона.
- Mobile Accessibility - чтение с экрана + набор из якобы упрощённых для доступа приложений: телефон, СМС, календарь, почта, аудиоплеер... поддержка дисплеев Брайля
Кроме Android Accessibility Suite (см. "комплексные решения"), доступны приложения:
- TapTapSee - описывает вслух объекты в поле зрения камеры, наведя смартфон на объект и два раза нажав на экран. Требует интернет-соединение и TalkBack.
- Envision AI - аналог TapTapSee
- Audex - озвучивает нажатия, свайпы и прочие действия (примерно как NVDA мышку). Видимо, часто используется незрячими.
- Нейронные сети - Stepik (Институт биоинформатики)
- История искусственного интеллекта
- Введение в машинное обучение - ВШЭ и Школа Анализа Данных
- Introduction to Machine Learning - Stanford University
- Introduction to TensorFlow by TensorFlow
- Convolutional Neural Networks for Visual Recognition - Stanford University
- Neural Networks and Deep Learning: Web Edition, Amazon, перевод на Habr