Облачное хранение / Практикум / CLI

rclone: перенести файлы в облако и проверить результат

Учебная процедура копирования без удаления файлов назначения, с предварительным просмотром и проверкой.

Где помогает rclone

rclone соединяет локальные каталоги и разные облачные хранилища через настроенные подключения remote. Он удобен для переноса архивов, выгрузки документов и проверок. До начала работы установите утилиту по инструкции проекта, выполните rclone config и создайте подключение cloudtest к учебному хранилищу.

Подготовьте отдельную площадку

Примеры ниже рассчитаны на Linux или macOS и каталог ./sample с нечувствительными файлами. cloudtest:cloudnn-test — учебное назначение: для S3 это бакет, который нужно создать заранее. Сначала убедитесь, что remote указывает в нужный аккаунт.

КОМАНДНАЯ СТРОКА
rclone version
rclone listremotes
rclone lsd cloudtest:

Сначала предварительный просмотр

copy переносит новые и изменившиеся файлы, сохраняя лишние файлы назначения. dry-run показывает план. Команда sync имеет другую семантику и может удалить лишнее в назначении; для первого переноса она здесь не требуется.

КОМАНДНАЯ СТРОКА
rclone copy ./sample cloudtest:cloudnn-test --dry-run -P
rclone copy ./sample cloudtest:cloudnn-test -P --log-file ./rclone-copy.log

Проверьте чтением содержимого

Обычная проверка зависит от доступных контрольных сумм и особенностей backend. Для маленькой учебной выборки используйте check с загрузкой содержимого. Это создаёт трафик и может увеличить счёт. one-way допускает дополнительные файлы в назначении.

КОМАНДНАЯ СТРОКА
rclone check ./sample cloudtest:cloudnn-test --one-way --download

Завершение команды и код возврата проверяют вместе с журналом. Отсутствие текста в консоли само по себе не доказывает успех.

Автоматизируйте после ручной проверки

Запускайте задачу отдельной учётной записью, храните конфигурацию и токены с ограниченными правами. Учитывайте доступность remote в окружении планировщика. Перед повторными попытками разберите ошибки аутентификации, квот и сети; бесконечный повтор может лишь увеличить расходы.

Как применять в базе знаний

Сохраняйте исходные документы в отдельном префиксе, а результаты извлечения — в другом. В журнале фиксируйте список переданных файлов и контрольные суммы. После загрузки запускайте индексацию только подтверждённых объектов. Само копирование не обновляет поисковую базу ИИ автоматически.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Облачное хранение
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть