rclone: перенести файлы в облако и проверить результат
Учебная процедура копирования без удаления файлов назначения, с предварительным просмотром и проверкой.
Где помогает rclone
rclone соединяет локальные каталоги и разные облачные хранилища через настроенные подключения remote. Он удобен для переноса архивов, выгрузки документов и проверок. До начала работы установите утилиту по инструкции проекта, выполните rclone config и создайте подключение cloudtest к учебному хранилищу.
Подготовьте отдельную площадку
Примеры ниже рассчитаны на Linux или macOS и каталог ./sample с нечувствительными файлами. cloudtest:cloudnn-test — учебное назначение: для S3 это бакет, который нужно создать заранее. Сначала убедитесь, что remote указывает в нужный аккаунт.
rclone version
rclone listremotes
rclone lsd cloudtest:Сначала предварительный просмотр
copy переносит новые и изменившиеся файлы, сохраняя лишние файлы назначения. dry-run показывает план. Команда sync имеет другую семантику и может удалить лишнее в назначении; для первого переноса она здесь не требуется.
rclone copy ./sample cloudtest:cloudnn-test --dry-run -P
rclone copy ./sample cloudtest:cloudnn-test -P --log-file ./rclone-copy.logПроверьте чтением содержимого
Обычная проверка зависит от доступных контрольных сумм и особенностей backend. Для маленькой учебной выборки используйте check с загрузкой содержимого. Это создаёт трафик и может увеличить счёт. one-way допускает дополнительные файлы в назначении.
rclone check ./sample cloudtest:cloudnn-test --one-way --downloadЗавершение команды и код возврата проверяют вместе с журналом. Отсутствие текста в консоли само по себе не доказывает успех.
Автоматизируйте после ручной проверки
Запускайте задачу отдельной учётной записью, храните конфигурацию и токены с ограниченными правами. Учитывайте доступность remote в окружении планировщика. Перед повторными попытками разберите ошибки аутентификации, квот и сети; бесконечный повтор может лишь увеличить расходы.
Как применять в базе знаний
Сохраняйте исходные документы в отдельном префиксе, а результаты извлечения — в другом. В журнале фиксируйте список переданных файлов и контрольные суммы. После загрузки запускайте индексацию только подтверждённых объектов. Само копирование не обновляет поисковую базу ИИ автоматически.
Отметка поможет найти непрочитанное.