Открытия ИИ / SURYA / РАСПОЗНАВАНИЕ

Surya: вытащить текст и структуру из трудного скана

Проверяем OCR на инструкциях и таблицах: строки, порядок чтения и символы, которые нельзя угадывать.

OCR — это больше, чем набор букв

Surya — проект Datalab для распознавания текста и анализа документов. В официальном репозитории описаны OCR, определение элементов страницы, порядка чтения и структуры таблиц. Код имеет лицензию Apache 2.0, веса моделей — отдельную модифицированную AI Pubs Open Rail-M с ограничениями использования. Нельзя переносить условия лицензии кода на веса. Это специализированный компонент обработки страниц: связный ответ на вопрос по всему архиву требует отдельного поиска и работы с контекстом.

Источник: Surya: OCR, структура страницы и условия использования

С чего начать: одна страница с известным ответом

Возьмите собственную обезличенную страницу, на которой есть абзац, таблица и небольшой заголовок. Подготовьте эталон вручную: точный текст двух предложений и значения нескольких ячеек. Добавьте пару символов, которые легко спутать: букву O и цифру 0, латинскую I и единицу. Цель — понять характер ошибок на вашем материале. Если начать с сотни неизвестных страниц, красивые результаты скроют мелкие и регулярно повторяющиеся подмены, которые потом попадут в поиск.

Подготовка скана без уничтожения деталей

Сделайте отдельные рабочие копии изображений. Одну оставьте без обработки, вторую аккуратно выровняйте и обрежьте лишние поля. Не повышайте контраст до исчезновения тонких линий и десятичных точек. Сравнение этих двух вариантов полезнее хаотичной цепочки фильтров. В имени результата сохраните связь с исходной страницей и вариантом подготовки. Если на листе несколько повёрнутых областей, отметьте их заранее: тогда неправильный порядок чтения не будет выглядеть как загадочная ошибка распознавания.

Разделите три независимые проверки

Первая проверка — найден ли нужный блок. Вторая — правильно ли прочитан текст внутри него. Третья — правильно ли блок связан с соседними частями страницы. Абзац может распознаться без ошибок, но оказаться между двумя строками чужой таблицы. Поэтому сравнивайте не только плоский текст, но и представление расположения элементов, которое предоставляет выбранная версия проекта. Для каждого сбоя сохраните небольшой фрагмент страницы: воспроизводимый пример удобнее описания «плохо читает PDF».

Справочная таблица
УровеньПроверочный вопрос
ОбластьНе пропущены ли подпись, сноска и узкая колонка?
СимволыВерны ли цифры, знак минуса и пунктуация?
СвязиНе перемешаны ли колонки и строки таблицы?
ПолнотаВсе ли страницы получили результат или явный статус ошибки?

Цифры из инструкции сверяйте отдельно

Составьте список полей, где ошибка меняет действие: напряжение, размер, артикул, дата, адрес, коэффициент. Для каждого поля запишите оригинальное значение и результат OCR. Считайте не общее число красивых абзацев, а долю правильно переданных контрольных полей. Если распознано 220 вместо 22.0, последующая языковая модель не обязана заметить потерянную точку. Помечайте непроверенные значения и не подставляйте их автоматически в расчёты, заявки или команды настройки.

Понятный порядок первого запуска

Откройте официальное руководство Surya и выберите пример именно для нужного результата: текста, разметки или таблицы. Установите проект в отдельное окружение и зафиксируйте версию до эксперимента. Запустите один учебный документ, сохраните журнал и файлы вывода. При повторном опыте меняйте только одну настройку, например размер подготовленного изображения. Так будет понятно, что именно повлияло на результат. Не сравнивайте разные версии модели и разные исходники как один и тот же опыт.

ПРИМЕР / КОД
Карточка опыта
Источник: scan-01.png
Версия проекта и модель: ...
Подготовка: исходник / выравнивание
Контрольные поля: 12
Верных полей: ...
Пропущенные блоки: ...
Время обработки и ручной проверки: ...

Где проходит граница автоматизации

Для поиска по техническому архиву иногда достаточно хороших заголовков и основного текста. Для переноса табличных параметров в базу требований больше: нужны согласованные строки, единицы и контроль полноты. Заранее решите, какой результат считается пригодным для каждого сценария. Не отправляйте весь выход OCR в одну общую категорию «готово». Полезнее три статуса: проверен, требует просмотра, не обработан. Низкокачественный лист останется видимым и не потеряется среди удачных страниц.

Что сохранить после эксперимента

Сохраните исходные сканы, настройки, результаты до правки и короткий список типичных ошибок. Проверьте лицензию выбранных весов под предполагаемое использование; актуальные условия находятся в репозитории и файле MODEL_LICENSE. Размер модели сам по себе не даёт надёжного требования к памяти: учитываются изображения, пакетная обработка и реализация. Учебный маршрут выше предложен Cloud NN. Его смысл — получить измеряемое качество на собственных документах, а не объявить победителя среди OCR по одному примеру.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Открытия ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть