Surya: вытащить текст и структуру из трудного скана
Проверяем OCR на инструкциях и таблицах: строки, порядок чтения и символы, которые нельзя угадывать.
OCR — это больше, чем набор букв
Surya — проект Datalab для распознавания текста и анализа документов. В официальном репозитории описаны OCR, определение элементов страницы, порядка чтения и структуры таблиц. Код имеет лицензию Apache 2.0, веса моделей — отдельную модифицированную AI Pubs Open Rail-M с ограничениями использования. Нельзя переносить условия лицензии кода на веса. Это специализированный компонент обработки страниц: связный ответ на вопрос по всему архиву требует отдельного поиска и работы с контекстом.
Источник: Surya: OCR, структура страницы и условия использования
С чего начать: одна страница с известным ответом
Возьмите собственную обезличенную страницу, на которой есть абзац, таблица и небольшой заголовок. Подготовьте эталон вручную: точный текст двух предложений и значения нескольких ячеек. Добавьте пару символов, которые легко спутать: букву O и цифру 0, латинскую I и единицу. Цель — понять характер ошибок на вашем материале. Если начать с сотни неизвестных страниц, красивые результаты скроют мелкие и регулярно повторяющиеся подмены, которые потом попадут в поиск.
Подготовка скана без уничтожения деталей
Сделайте отдельные рабочие копии изображений. Одну оставьте без обработки, вторую аккуратно выровняйте и обрежьте лишние поля. Не повышайте контраст до исчезновения тонких линий и десятичных точек. Сравнение этих двух вариантов полезнее хаотичной цепочки фильтров. В имени результата сохраните связь с исходной страницей и вариантом подготовки. Если на листе несколько повёрнутых областей, отметьте их заранее: тогда неправильный порядок чтения не будет выглядеть как загадочная ошибка распознавания.
Разделите три независимые проверки
Первая проверка — найден ли нужный блок. Вторая — правильно ли прочитан текст внутри него. Третья — правильно ли блок связан с соседними частями страницы. Абзац может распознаться без ошибок, но оказаться между двумя строками чужой таблицы. Поэтому сравнивайте не только плоский текст, но и представление расположения элементов, которое предоставляет выбранная версия проекта. Для каждого сбоя сохраните небольшой фрагмент страницы: воспроизводимый пример удобнее описания «плохо читает PDF».
| Уровень | Проверочный вопрос |
| Область | Не пропущены ли подпись, сноска и узкая колонка? |
| Символы | Верны ли цифры, знак минуса и пунктуация? |
| Связи | Не перемешаны ли колонки и строки таблицы? |
| Полнота | Все ли страницы получили результат или явный статус ошибки? |
Цифры из инструкции сверяйте отдельно
Составьте список полей, где ошибка меняет действие: напряжение, размер, артикул, дата, адрес, коэффициент. Для каждого поля запишите оригинальное значение и результат OCR. Считайте не общее число красивых абзацев, а долю правильно переданных контрольных полей. Если распознано 220 вместо 22.0, последующая языковая модель не обязана заметить потерянную точку. Помечайте непроверенные значения и не подставляйте их автоматически в расчёты, заявки или команды настройки.
Понятный порядок первого запуска
Откройте официальное руководство Surya и выберите пример именно для нужного результата: текста, разметки или таблицы. Установите проект в отдельное окружение и зафиксируйте версию до эксперимента. Запустите один учебный документ, сохраните журнал и файлы вывода. При повторном опыте меняйте только одну настройку, например размер подготовленного изображения. Так будет понятно, что именно повлияло на результат. Не сравнивайте разные версии модели и разные исходники как один и тот же опыт.
Карточка опыта
Источник: scan-01.png
Версия проекта и модель: ...
Подготовка: исходник / выравнивание
Контрольные поля: 12
Верных полей: ...
Пропущенные блоки: ...
Время обработки и ручной проверки: ...Где проходит граница автоматизации
Для поиска по техническому архиву иногда достаточно хороших заголовков и основного текста. Для переноса табличных параметров в базу требований больше: нужны согласованные строки, единицы и контроль полноты. Заранее решите, какой результат считается пригодным для каждого сценария. Не отправляйте весь выход OCR в одну общую категорию «готово». Полезнее три статуса: проверен, требует просмотра, не обработан. Низкокачественный лист останется видимым и не потеряется среди удачных страниц.
Что сохранить после эксперимента
Сохраните исходные сканы, настройки, результаты до правки и короткий список типичных ошибок. Проверьте лицензию выбранных весов под предполагаемое использование; актуальные условия находятся в репозитории и файле MODEL_LICENSE. Размер модели сам по себе не даёт надёжного требования к памяти: учитываются изображения, пакетная обработка и реализация. Учебный маршрут выше предложен Cloud NN. Его смысл — получить измеряемое качество на собственных документах, а не объявить победителя среди OCR по одному примеру.
Отметка поможет найти непрочитанное.