跳转至

使用txt2img进行云上推理

您可以打开txt2img标签页，通过结合使用txt2img原生区域及解决方案新增面板Amazon SageMaker Inference，实现调用云上资源的txt2img推理工作。

txt2img的使用方法

通用场景

  1. 进入txt2img标签页，找到Amazon SageMaker Inference面板。 Sagemaker Inference面板

  2. 输入推理所需参数。同于本地推理，您可以按需编辑txt2img原生的推理参数，包括模型(stable diffusion checkpoint, extra networks:Lora,Hypernetworks, VAE等)，提示词，负提示词，取样参数，推理参数等。VAE模型切换需要点击Settings按钮进入设置面板，在左侧一栏选择Stable Diffusion, 右侧面板SD VAE (choose VAE model: Automatic = use one with same filename as checkpoint; None = use VAE from checkpoint)处右侧刷新选择要用的VAE模型完成VAE模型切换。 Settings 面板

    提示

    选择的模型文件需要通过云上资源管理章节介绍的方式进行推理模型上传到云上，才能使用该模型进行云上推理。目前模型列表展示本地和云上的模型选项。为了进行云上推理，建议选择有sagemaker关键字为后缀的、表明已经上传到云上的模型进行后续推理。

  3. 选择云上推理所需要的模型。在Stable Diffusion Checkpoint Used on Cloud列表选择需要云上推理的模型, 则会触发右上角Generate按钮变为Generate on Cloud。 Generate button面板

    提示

    此项为必选项。

  4. 所有参数设置完成后，点击Generate on Cloud。

  5. 查看推理结果。刷新Inference Job下拉列表，查看最上方的、符合推理提交时间戳的Inference Job ID。相关Inference Job列表选择请参考本页尾部的Inference Job子章节。txt2img标签页右上方的Output区域会显示推理的结果，包括图片，提示词以及推理的参数等。在此基础上，可以点击Save或者Send to img2img等，进行后续工作流。

    补充： 列表按照推理时间倒序排列，即最近的推理任务排在最上方。每条记录的命名格式为推理时间->推理状态（succeed/in progress/fail）->inference id。

generate results

使用Lora等云上模型进行推理

  1. 请按照单机版webUI使用方式，将所需模型，包括Textual Inversion, Hypernetworks, Checkpoints或者Lora模型上传一份到本地。
  2. 请按照上传训练模型的方式，将所需模型上传到云上账户。
  3. 在对应Lora模型等区域选中模型，在提示词框调整模型参数，点击Generate on Cloud即可进行推理。

历史推理任务

Inference Job下拉列表默认列出最近10条推理任务，命名格式遵循 Time-Type-Status-Uid。如果需要列出账户历史上所有推理任务，只需选中Show All。如果需要应用筛选器，缩小显示列表，可以勾选Advanced Inference Job filter，页面下方会自动增加本解决方案提供的筛选器维度，用户可以按需选择。

如需拿到某一历史推理任务的相关推理API，可遵循API推理调试器查看。