README.md

# Braille text optical recognition

The task is to automatically recognize texts written in Braille and translate them into russian and english. Recognition is made from photos and scans taken without the use of professional equipment.

Here are task's materials:

1. Braile_Photos_and_Scans-20200127T071421Z-001.zip - braile text samples (photos and scans)
2. Braille_to_letters.csv - braile alphabet transation to digits, russian and english letters
3. Student_Book-20200129T145202Z.zip - brail text samples (worse quality images)
4. Double-Sided Braille Image Dataset (https://github.com/yeluo1994/DSBI) on chianeese: our kind regards to Renqiang Li, Hong Liu, Xiangdong Wan, Yueliang Qiang 2018 arXiv:1811.10893 [cs.CV] (https://arxiv.org/abs/1811.10893)

# Оптическое распознавание текстов Брайля

Задача состоит в автоматическом распознавании текстов, написанных с помощью алфавита Брайля, и их перевода на русский и английский. Распознавание должон справляться с фотографиями и сканированными изображениями, полученными без использования профессионального оборудования.

Задача заключается в автоматическом распознавании текстов, написанных шрифтом Брайля и перекодировки их на кириллицу для русского языка и латиницу для английского языка. Распознавание производится с фотографий и сканов, сделанных без использования профессионального оборудования. Решение данной задачи работает на интеграцию слепых и слабовидящих людей, расширение возможностей их общения.

Последние годы появляется все больше приборов, направленных на улучшение качества жизни слепых и слабовидящих: голосовые помощники, «брайлевская строка» и т.п. Эти возможности безусловно, помогают в общении между слепыми и зрячими, но мы хотим сделать еще один шаг «с другой стороны» – помочь зрячим людям читать текст, написанный шрифтом Брайля.

Зрячие люди обычно не могут наощупь научиться читать текст, написанный шрифтом Брайля, и они вынуждены прикладывать большие усилия для чтения белых точек на белой бумаге. Особенно тяжело читать глазами тексты при двусторонней печати на брайле, когда выпуклые точки чередуются со впадинами, расположенными на месте точек с другой стороны листа.

Родственники слепых и слабовидящих людей сталкиваются, например, с проблемой проверки домашних работ ребенка из-за отсутствия навыков чтения шрифта Брайля.

Также автоматическое распознавание брайлевских текстов даст возможность переиздать специализированные учебники на брайле, для которых не существует цифровых источников.

На данный момент нет компактных и недорогих решений, позволяющих автоматически переводить текст, написанный шрифтом Брайля в кириллицу или латиницу. Для текстов на русском языке существуют только громоздкие и дорогие сканирующие машины со встроенным распознаванием шрифта Брайля. Цена и габариты делают использование таких машин в быту абсолютно невозможным.

Задача является актуальной, т.к. наличие разработанной системы автоматического распознавания текстов, написанных шрифтом Брайля:

* поможет привлечь учителей, не владеющих азбукой Брайля к преподаванию незрячим и слабовидящим;
* упростит работу преподавателей, которые должны работать с незрячими и слабовидящими по инклюзивным программам в обычных классах;
* позволит переиздать брайлевские учебники, для которых нет цифрового источника;
* позволит незрячим людям при необходимости самостоятельно подавать письменные обращения в различные инстанции;
* в целом способствует общению между зрячими и незрячими людьми 

Важность быстрого решения данной задачи обусловлено необходимым участием слепых ребят во Всероссийской олимпиаде школьников. Сейчас работы, написанные на шрифтом Брайля, сначала расшифровываются вручную, а потом проверяются жюри олимпиады.

# Целевая аудитория

Организации и отдельные люди, взаимодействующие с незрячими и слабовидящими людьми. Образовательные учреждения и близкие родственники слепых и слабовидящих детей. Незрячие и слабовидящие люди.

# Критерии решения

1. Решение позволяет распознавать объёмные тексты, снятые с рук при комнатном освещении на камеру сотового телефона.
2. Решение позволяет распознавать объёмные тексты, сканированные при помощи планшетных сканеров.
3. Решение доступно в виде мобильного приложения в режимах "всё на борту" или "клиент-серверном" режиме - не важно.
4. Решение позволяет распознавать тексты, написанные на русском и английском языках. Дополнительно: математический язык школьного уровня.
5. Опционально: решение может включать или отключать режим автоматического исправления ошибок или предсказания слов

# Гипотезы задачи

1. Вычислительных мощностей мобильных устройств достаточно для работы приложения.
2. Для повышения производительности работы приложения удастся использовать аппаратное ускорения при помощи дискретных графических процессоров.
3. Для текстов, сканированных или сфотографированных не удачно, будет возможность верно идентифицировать язык написанного.

# Материалы задачи

1. Образцы текстов Брайля (фотографии и сканированные изображения): Braile_Photos_and_Scans-20200127T071421Z-001.zip
2. Цифровая странсляция алфавита Брайля, русские и английские буквы: Braille_to_letters.csv
3. Образцы текстов Брайля (плохое качество изображений): Student_Book-20200129T145202Z.zip
4. Набор двусторонних изображений текстов Брайля (https://github.com/yeluo1994/DSBI) на китайском языке с нашими добрыми пожеланиями команде их создателей: Renqiang Li, Hong Liu, Xiangdong Wan, Yueliang Qiang 2018 arXiv:1811.10893 [cs.CV] (https://arxiv.org/abs/1811.10893)
5. Декодер Брайля: http://braille.su/decoder.php
6. ГОСТ Р 56832-2015 Шрифт Брайля.Требования и размеры: http://protect.gost.ru/v.aspx?control=8&baseC=-1&page=0&month=-1&year=-1&search=&RegNum=1&DocOnPageCount=15&id=194710&pageK=5C4D8E30-4A16-488D-83C1-46C65B9F9F31