文档

批处理框架

概述

MinIO 批处理框架允许您使用 YAML 格式的作业定义文件(“批处理文件”)来创建、管理、监控和执行作业。批处理作业直接在 MinIO 部署上运行,以利用服务器端的处理能力,而不受运行 MinIO Client 的本地机器的限制。

一个批处理文件定义一个作业任务。

一旦启动,MinIO 就会开始处理该作业。完成时间取决于部署可用的资源。

如果作业的任何部分失败,MinIO 会根据作业定义中指定的次数重试该作业。

MinIO 批处理框架支持以下作业类型

作业类型

描述

replicate

执行一次性复制过程,从一个 MinIO 位置复制到另一个 MinIO 位置。

keyrotate

执行一次性过程,轮换对象上的 sse-s3 或 sse-kms 加密密钥。

expire

对存储桶中的对象执行一次性立即过期操作。

MinIO 批处理命令行工具

mc batch 命令包括

mc batch generate

mc batch generate 命令为指定的作业类型创建一个基本的 YAML 格式模板文件。

mc batch start

mc batch start 命令从作业批处理 YAML 文件启动一个批处理作业。

mc batch list

mc batch list 命令输出部署上当前正在进行的批处理作业列表。

mc batch status

mc batch status 命令输出 MinIO 服务器上作业事件的摘要。

在 mc 版本中更改: RELEASE.2024-07-03T20-17-25Z

批处理状态显示活动、进行中的作业或过去三 (3) 天内完成的任何批处理作业的摘要。

mc batch describe

mc batch describe 命令输出指定作业 ID 的作业定义。

mc batch cancel

mc batch cancel 停止一个正在进行的批处理作业。

访问 mc batch

每个批处理作业都使用批处理定义中指定的凭据执行。给定批处理作业的成功与否取决于这些凭据是否具有执行所有请求操作的适当权限

执行批处理作业的用户必须具有以下权限。您也可以通过阻止或限制对这些操作的访问来限制用户使用这些功能。

admin:ListBatchJobs

授予用户查看当前正在处理的批处理作业的能力。

admin:DescribeBatchJobs

授予用户查看当前正在处理的批处理作业定义详情的能力。

admin:StartBatchJob

授予用户启动批处理作业的能力。该作业可能会受到其用于访问源或目标部署的凭据的进一步限制。

admin:CancelBatchJob

允许用户停止当前正在进行的批处理作业。

您可以独立或以任何组合将这些操作中的任何一个分配给用户。

内置的 ConsoleAdmin 策略包含足够的访问权限来执行所有这些类型的批处理作业操作。

本地 部署

您通过将一个 别名 传递给 mc batch 命令,来针对特定的部署运行批处理作业。您在命令中指定的部署将成为该批处理作业上下文中的 本地 部署。

English 中文