Открытия ИИ / FLORENCE-2 / ЗРЕНИЕ

Florence-2: научить архив фотографий отвечать на конкретную задачу

Описания кадров, поиск объектов и OCR в одной модели: как выбрать режим и не принять догадку за факт.

Одна модель, несколько задач зрения

Florence-2 — семейство визуально-языковых моделей Microsoft. Официальная карточка Florence-2-large показывает описания изображений, поиск объектов, привязку текста к областям и OCR. Задачи выбираются специальными маркерами, например <CAPTION> и <OD>; это не произвольный диалог с универсальным ассистентом. Карточка модели указывает MIT. Для практики важно выбрать конкретную задачу и ожидаемую структуру ответа, а не просить модель «понять фотографию» без критерия результата.

Источник: Microsoft: официальная карточка Florence-2-large

Учебный сценарий: фотографии после выезда

Представьте папку собственных снимков оборудования: общий вид, шильдик, крепление, разъём, упаковка детали. Подготовьте небольшой набор и вручную отметьте, что действительно видно на каждом кадре. Не включайте в эталон скрытые свойства: исправность платы, номинал невидимого компонента или причину отказа. Цель первого опыта — получить черновые подписи, помогающие найти нужную фотографию. Такой сценарий полезен даже тогда, когда все важные технические выводы остаются за человеком.

Подберите режим к форме результата

Для короткой подписи начните с <CAPTION>. Если нужны более подробные описания, сравните отдельный режим на том же кадре. Для текста на шильдике используйте OCR, а для областей объектов — предназначенную для этого задачу. Не сравнивайте подпись и распознавание символов по одному общему впечатлению: они решают разные вопросы. Перед использованием результата сохраните исходное изображение и название задачи. Тогда ошибку можно воспроизвести без попытки угадать, какой режим был выбран.

Справочная таблица
ЗадачаМаркер из официальной карточки
Коротко описать кадр<CAPTION>
Получить подробную подпись<DETAILED_CAPTION>
Найти объекты и области<OD>
Прочитать текст с областями<OCR_WITH_REGION>

Не смешивайте факт и предположение

В своей таблице проверки выделите две колонки: наблюдаемое и неподтверждённое. Фраза «серый металлический шкаф с открытой дверцей» проверяется по кадру. Фраза «неисправный электрический щит» уже содержит вывод о назначении и состоянии. Если модель добавляет такие выводы, сокращайте черновую подпись до видимых признаков. Особенно внимательно относитесь к точным названиям деталей: похожая форма не устанавливает производителя и артикул. Для поиска фотографий полезнее верная общая подпись, чем уверенная выдуманная спецификация.

Контроль координат и размеров

Если ответ содержит рамки объектов, наложите их на оригинальное изображение. Проверьте углы, ориентацию и размеры: предварительное уменьшение или поворот кадра требует согласованного преобразования координат. Возьмите один объект у края кадра и один частично перекрытый. Не считайте обнаружение правильным только потому, что подпись выглядит правдоподобно. Для рабочего архива храните координаты вместе с размером изображения, иначе рамка может съехать после повторного экспорта фотографии в другом разрешении.

Небольшая процедура без собственного сервера

Откройте официальный пример модели и подготовьте запуск в изолированном окружении по его текущим требованиям. Сначала получите результат одного изображения и одной задачи. Не копируйте случайную комбинацию библиотек из старого видео: версия загрузчика, модель и процедура постобработки должны соответствовать друг другу. Если пример требует выполнения кода из репозитория модели, сначала изучите этот код и используйте доверенный закреплённый источник. Для знакомства достаточно локального опыта; публичный API и массовую обработку можно планировать после проверки качества.

ПРИМЕР / КОД
Опыт № 1
Кадр: equipment-01.jpg
Задача: <CAPTION>
Ожидается: короткая подпись о видимых объектах
Проверяем: лишние детали, пропуски, неверные названия
Следующий опыт: тот же кадр, задача <OCR_WITH_REGION>

Как превратить подписи в удобный архив

Оставьте человеку возможность исправить подпись и добавьте простой словарь собственных терминов: помещение, объект, тип снимка, дата. Черновой вывод модели храните отдельно от утверждённой карточки. Файл должен находиться по обычному имени даже при ошибке ИИ. Для оценки посчитайте, сколько времени заняло найти нужный снимок до добавления подписей и после. Если подписи не помогают поиску, увеличивать их длину бессмысленно: сначала проверьте, какие слова вы действительно используете при поиске.

Чего не следует ждать от одного кадра

Описание изображения не измеряет электрические параметры и не подтверждает состояние скрытого узла. Нечёткая маркировка остаётся нечёткой, даже если модель предложила правдоподобные символы. Для паспортных значений вернитесь к крупному снимку или документу. Подготовленный маршрут — сценарий Cloud NN, не независимый тест Florence-2. Полезный итог — небольшой архив с проверяемыми подписями, исходными фотографиями и возможностью быстро исправлять ошибки, а не коллекция впечатляющих, но недостоверных описаний.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Открытия ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть