多模态与 AIGC

以下为 PPT 文字提取版（图表无法提取，原文见附件）。

第 1 页

AIGC介绍

第 2 页

AIGC是什么？

AIGC全称为AI-Generated Content，人工智能内容生成

1

...................................................................

AIGC的应用场景

AI解决实际问题，提高效率、降低成本

2

...................................................................

AIGC的产品形态

基础层，中间层，应用层

3

...................................................................

第 3 页

AIGC是什么？

AIGC全称为AI-Generated Content，人工智能内容生成。

1

........................................................................

第 4 页

从技术上划分

..............................

1、内容孪生

2、内容编辑

3、内容生成

内容孪生是数字内容映射到另一个模态的技术，包括智能增强和智能转译，应用场景包括图像超分、语音转字幕，文字转语音等

内容编辑通过理解内容及属性控制实现修改，应用场景：场景剪辑、虚拟试衣、人声分离等

内容生成通过学习海量数据中的抽象概念，并生成全新的内容，应用广泛，包括图像生成（AI绘画）、文本生成（AI写作），视频生成、多模态生成等

第 5 页

从生成内容上划分

............................. ...... ...... .

1、文本生成

基于NLP的文本内容生成分为非交互式和交互式，包括摘要/标题生成、聊天机器人，图生文等，ChatGPT、文心一言等是代表性产品

2、图像生成

图像生成分为编辑修改和自主生成，应用广泛，包括超分、修复、人脸替换,文生图等，代表性产品有Midjourney、DALL-E,文心一格等

3、音频生成

音频生成技术可用于C端产品，如语音克隆和场景化语音生成，代表性产品有DeepMusic、WaveNet等

4、视频生成

视频生成分为编辑和自主生成，包括超分、修复、剪辑等，代表性产品有Deepfake、videoGPT等

5、多模态生成

组合搭配，进行模态间的转换生成，如文本生成图像、文本生成音频、文本生成视频、图像生成文本、图像生成视频，代表性产品有DALL-E、MidJourney、Stable Diffusion等

第 6 页

腾讯云AI绘画

............................. ...... ...... .

腾讯云AI绘画是一款基于腾讯优图实验室自研的 AI 图像生成与编辑技术产品，目前提供 API和SaaS两种产品形态。 可以结合输入的文本或图片智能创作出与输入相关的图像内容； 具有更强大的中文理解能力、更多样化的风格选择； 更好支持中文场景下的建筑风景生成、古诗词理解、水墨剪纸等中国元素风格生成； 各种动漫、游戏风格的高精度图像生成和风格转换； 为高质量的内容创作、内容运营提供技术支持。

第 7 页

腾讯混元大模型

............................. ...... ...... .

由腾讯全链路自研的实用级大语言模型，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。用户可以通过腾讯云直接调用API接口，或者将腾讯混元作为基底模型，在公有云上进行精调，为不同产业场景构建专属应用。

第 8 页

腾讯混元大模型

............................. ...... ...... .

多轮对话：具备上下文理解和长文记忆能力，流畅完成各专业领域的多轮问答

内容创作：支持文学创作、文本概要、角色扮演能力，流畅、规范、中立、客观

逻辑推理：准确理解用户意图，基于输入数据或信息进行推理、分析

知识增强：有效解决事实性、时效性问题，提升内容生成效果

第 9 页

AIGC的应用场景

AI解决实际问题，提高效率、降低成本

2

........................................................................

第 10 页

AIGC在影视行业应用

............................................................................

01

在前期创作阶段，AIGC可以通过学习海量剧本，按照预定风格生成剧本，为创作者提供更多灵感和选择。 创作者可以对生成的剧本进行二次筛选与加工，不断完善作品，缩短创作周期。 这种智能辅助创作工具可以带来更多创新和想法，为创作者提供更多灵感和可能性

AIGC学习生成剧本， 提高创作效率

02

在中期拍摄阶段，人工智能的应用能够合成虚拟场景，以此生成无法实拍或成本过高的场景，提升视听体验。 在拍摄前，团队会收集大量场景素材并建模制作虚拟场景。 演员在绿棚中拍摄，实时人员识别与抠图技术会将人物嵌入虚拟场景中进行融合，最终生成视频

中期拍摄可合成虚拟场景

03

在视频后期制作阶段，AIGC技术可应用于画质增强，以提升视频质量。 对于涉及敏感人员如“劣迹艺人”的情况，可使用“人脸替换”和“人声替换”技术对视频进行编辑，以确保内容符合社会价值观。 同时，AI技术可自动对视频片段进行剪辑，极大节省了预告片和片段集锦的制作时间和成本

AIGC增强视频画质 AI剪辑视频片段

第 11 页

AIGC在电商行业应用

............................................................................

AIGC生成3D模型，提升线上购物体验

在商品展示环节，AIGC生成3D模型用于商品展示和虚拟适用，提升线上购物体验。通过这种方式，消费者可以更直观地了解商品的外形、尺寸和效果，提高购买决策的准确性和满意度

在主播打造环节：打造虚拟主播，赋能直播带货；

在主播打造环节，我们注重打造虚拟主播，以创新形式赋能直播带货。通过引入人工智能技术，虚拟主播能够实现自动化直播，提高效率并降低成本

虚拟商城构建，智能聊天机器人赋能线上线下秀场加速演变，提供全新购物场景

在交易场景环节，通过虚拟商城构建和智能聊天机器人，赋能线上和线下秀场加速演变，为消费者提供全新的购物场景，提升购物体验

第 12 页

AIGC在娱乐行业应用

............................................................................

01

人脸美妆、图像融合、黑白上色、风格转换、属性变换

02

社交互动：虚拟主播、网红、聊天机器人、互动游戏

全民娱乐，享受科技带来的美妙体验！通过图像内容生成应用，探索无限创意！尝试人脸美妆，展现个人独特风格；融合照片，创作出更多精彩作品！

社交互动形式日新月异，随着技术的不断发展，虚拟主播、虚拟网红、聊天机器人和聊天互动游戏等新型社交互动形式逐渐成为人们生活中的重要组成部分。这些新型社交互动形式不仅丰富了人们的社交体验，还为社交互动市场注入了新的活力

第 13 页

AIGC在其他行业应用

............................................................................

AIGC为教育工作者提供丰富的教学素材，提升课堂互动和提供更广泛的授课思路

AIGC为教育工作者提供丰富的教学素材，如数字人生成技术生成历史人物对话，提升课堂互动，ChatGPT生成创意性教学方案，提供广泛的授课思路

AIGC技术结合CAD软件，通过文本提示生成特定机构模型，用于工业设计参考

在工业行业，AIGC技术可与工业设计软件CAD融合，通过文本输入提示语生成特定样式的机构模型，供设计者参考。例如，输入“设计一款卫星太阳能电池板可伸缩折翼机构”，AIGC模型即可生成相应的3D设计机构

AIGC突破内容生成行业，提高各行业工作效率与质量，加速企业数字化智能化进程

AIGC在内容生成行业的突破，将提升内容创作者、设计师、工程师、教育工作者等各行业人员的工作效率与质量，同时加速企业数字化与智能化进程，为企业带来更多商业机会和发展空间

第 14 页

AIGC产品形态

基础层，中间层，应用层

3

........................................................................

第 15 页

AIGC产品形态

............................................................................

以下为 PPT 文字提取版（图表无法提取，原文见附件）。

第 1 页

图像生成方法

第 2 页

图像生成算法

1

...................................................................

基于扩散模型的算法

2

...................................................................

第 3 页

图像生成算法

1

........................................................................

第 4 页

算法分类

............................................................................

2014 变分自编码（VAE）

2014 生成对抗网络（GAN）

2015 扩散模型

扩散是受到非平衡热力学的启发，定义一个扩散步骤的马尔科夫链，并逐渐向数据中添加噪声，然后学习逆扩散过程，从噪声中构建出所需的样本。扩散模型的最初设计是用于去除图像中的噪声。随着降噪系统的训练时间越来越长且越来越好，可以把纯噪声作为输入，生成逼真的图片。

变分自编码器由Kingma等人在2014年提出，与传统的自编码器通过数值方式描述潜空间不同，它以概率方式对潜在空间进行观察，在数据生成方面应用价值较高。

2014年 Ian GoodFellow提出了生成对抗网络，成为最著名的生成模型。GAN使用零和博弈策略学习，在图像生成中应用广泛。以GAN为基础产生了多种变体，如DCGAN，StytleGAN，CycleGAN等。

第 5 页

变分自编码（Variational Autoencoder，VAE）

............................................................................

VAE是一种深度生成模型，描述潜在空间概率，有高应用价值

VAE是深度生成模型

图像经解码器得多种特征，包括微笑、肤色、性别等。自编码器传统生成具体数值潜在特征，目的是生成更近似输入的图像特征。概率分布采样特征值范围，生成图像的潜在特征表示解码器生成的图像

图像解码器生成特征表示

VAE包括编码器和解码器，编码器将高维数据转换为潜在空间概率分布，解码器从采样数据重建生成新数据

VAE编码器解码器， 潜在空间采样

第 6 页

生成对抗网络（Generative Adversarial Networks，GAN）

............................................................................

以生成对抗网络为基础，应用于人脸替换、卡通头像生成，实现图像的超分辨率重建和风格迁移等

判别器：训练阶段，用真实与生成数据训练二分类模型，输出概率值，越接近1，真实数据可能性越大

生成器：随机生成蓝色网络结构

GAN介绍

生成器和判别器

2014年Ian GoodFellow提出生成对抗网络，是最早的生成模型之一， 广泛应用于图像生成，并衍生出多种变体如DCGAN，StytleGAN，CycleGAN等

生成器学习生成合理数据，如图像生成器给定一个向量会生成一张图片，其生成的数据作为判别器的负样本。 判别器判别输入是生成数据还是真实数据，网络输出越接近于0，生成数据可能性越大；反之，真实数据可能性越大

第 7 页

扩散模型（Diffusion Model，里程碑式模型）

............................................................................

第 8 页

扩散模型（Diffusion Model，里程碑式模型）

............................................................................

向原始图像中添加噪声，使原始图像成为随机噪声

从噪声中恢复的原始图像的变种图像。

第 9 页

扩散模型（Diffusion Model，里程碑式模型）

............................................................................

应用： 图像超分、图像上色、文本生成图片、全景图像生成等。 如右图，中间图像作为输入，基于扩散模型，生成左右视角两张图，输入图像与生成图像共同拼接程一张全景图像。

在扩散模型的基础上，各大公司与研究机构研发出了自己的代表产品，例如: DALL-E1~E3（ OpenAI ） Imagen（ Google ） Stable Diffusion（ Stablitity AI ） FLUX（ BlackForestLabs ）

第 10 页

CLIP

............................................................................

01

CLIP发布

2021年美国OpenAI公司发布了跨模态预训练大模型CLIP，采用双塔模型与比对学习训练方式进行训练，从互联网收集4亿对图文对。CLIP不能用来进行图像生成，却是图像生成的基础

02

模型结构

CLIP将图片与图片描述一起训练，达到的目的：给定一句文本，匹配到与文本内容相符的图片；给定一张图片，匹配到与图片相符的文本。

03

CLIP训练过程

04

CLIP模型应用

跨模态检索：如搜索中文本搜索图片、文本搜索视频，图片搜索文本等。 跨模态内容生成： 文本生成图片（DALL-E3，Stable Diffusion等） 图片生成标题 图片生成描述等。

使用TE和IE进行文本和图像特征提取，其中TE采用TT模型，IE采用CNN或ViT。 进行对比学习，将N个文本特征和N个图像特征两两组合，预测N2个可能的文本-图像对的相似度，使用CS计算相似度。 训练目标是最大化N个正样本的相似度，同时最小化N2-N个负样本的相似度。 训练模型，优化目标函数。 完成训练后，输入文本可预测匹配图片，输入图片可预测匹配文本。

第 11 页

基于扩散模型的算法

2

........................................................................

第 12 页

DALL-E

............................................................................

DALL-E 由美国OpenAI公司发布，在OpenAI网站向公众开放，提供数量有限的免费图像和额外的购买图像服务。

如下图，为DALL-E所生成的各种图像。

第 13 页

Imagen

............................................................................

Imagen是2022年5月谷歌发布的文本到图像的扩散模型，该模型目前不对外开放。用户可通过输入描述性文本，生成图文匹配的图像。

具体的流程如下所示：

第 14 页

Stable Diffusion

............................................................................

AI作画质量高，内容契合度高

AI作画根据prompt提示语“郊区街区一栋房子的照片，灯光明亮的超现实主义艺术，高度细致8K”生成图像，风格与内容契合度高，作画质量高

Stable Diffusion是开源的AI图像生成器

Stable Diffusion训练昂贵，影响巨大

"Stable Diffusion最初用价值不菲的4000台A100显卡训练，体现其财力、理念和贡献精神。其价值和对业界影响堪称AI革命。"

Stable Diffusion是由Stability AI、CompVis团队和RunwayML共同开源的强大文本到图像生成器，免费且开源，是AI图像生成发展的里程碑

以下为 PPT 文字提取版（图表无法提取，原文见附件）。

第 1 页

Stable Diffusion详解

第 2 页

Stable Diffusion 的简介

概念、背景、特点

1

...................................................................

Stable Diffusion 原理

算法原理 模型构成

2

...................................................................

Stable Diffusion 处理流程

文生图的流程

3

...................................................................

Stable Diffusion 应用场景

文生图 图生图 图像修复

4

...................................................................

第 3 页

Stable Diffusion 简介

概念、背景、特点

1

........................................................................

第 4 页

Stable Diffusion相关概念

......................................................................

第 5 页

Stable Diffusion 是如何诞生的

............................................................................

01

02

04

05

06

03

Stable Diffusion 于 2022 年 8 月 22 日正式开源，融资1亿美元，估值10亿美元

训练模型需要高昂的计算成本和资源要求 Stability 投资资源，三个团队共同开发

Latent Diffusion 模型：慕尼黑大学的机器学习研究小组 CompVis 和纽约的 Runway 团队合作研发，生成速度快、消耗需求小

Stable Diffusion是由Stability AI、CompVis和Runway团队合作开发的

2022年7月， Stable Diffusion 正式亮相 Stable Diffusion 生成模型会更加准确，且支持的图像分辨率也更高，比 Latent Diffusion 模型更加强大。

2023年6月，福布斯报道：Stability 创始人夸大 Stable Diffusion 成就的新闻：https://www.forbes.com/sites

第 6 页

Stable diffusion的特点-可拓展性强

............................................................................

Stable Diffusion拓展性强，可免费学习创作

Stable Diffusion拥有强大的扩展性，任何人都可以通过官方免费公开的论文和模型代码进行学习与创作，解锁AI艺术更多可能性

Stable Diffusion集成了110+功能

Stable Diffusion是一款功能强大的图像处理软件，集成了110多个扩展插件的功能介绍，包括局部重绘、人物姿势控制、图像高清修复和线稿提取等，用户可以根据需要选择不同的插件来扩展软件的功能

精准控制图像分辨率

行业内无法精准控图和图像分辨率低等问题都是其普遍痛点，但这些在 Stable Diffusion 中通过 ControlNet 和 UpScale 等插件都能完美解决。

第 7 页

Stable diffusion的特点-出图快

..................................................-c..........................

使用过 Midjourney 的朋友应该都有体验过排队等了几分钟才出一张图的情况，而要得到一张合适的目标图我们往往需要试验多次才能得到。 由于商业级的 AI 应用都是通过访问云服务器进行操作，除了排队等候服务器响应外，网络延迟和资源过载都会导致绘图效率的降低。

而部署在本地的 Stable Diffusion 绘图效率完全由硬件设备决定，只要显卡算力跟得上，甚至能够实现 3s 一张的超高出图效率。

第 8 页

Stable diffusion的特点-数据安全

............................................................................

因为部署在本地，Stable Diffusion 在数据安全性上是其他在线绘画工具无法比拟的。商业化的绘画应用为了运营和丰富数据，会主动将用户的绘图结果作为案例进行传播。但 Stable Diffusion 所有的绘图过程完全在本地进行，基本不用担心信息泄漏的情况。

第 9 页

Stable Diffusion 运行原理

算法原理 模型构成

2

........................................................................

第 10 页

Stable Diffusion的工作原理

............................................................................

Diffusion模型广泛应用于图像生成领域，其他常见的生成式模型还有GAN、VAE、Flow based Model等。这些模型都基于深度学习进行训练

扩散模型之所以用 Diffusion 来命名，因为它的运作过程就是向训练图像不断地添加噪声，直到变为一张无意义的纯噪声图，再逐步恢复的过程。

第 11 页

加噪过程类似于在干净的水中滴墨汁，颜料会逐渐扩散导致整个水体变浑，AI绘画过程是从模糊的噪声图逐渐变为清晰的图像，即逆向降噪的过程 标准扩散模型在像素空间中进行，需要处理大量数据和高性能显卡 潜在扩散模型先缩小图像再运算，减少数据处理量和硬件要求 潜在扩散模型运算空间为潜空间，即低维空间

Stable Diffusion的工作原理

............................................................................

第 12 页

Diffusion Model的整体思路如下图所示： 正向过程：对于一张原始图片X0，我们给X0添加一个高斯噪声，图片由X0变成变成X1。接着我们会在X1的基础上再添加高斯噪声得到X2。重复上述添加高斯噪声步骤，直到图片变成Xn，由于添加了足够多的高斯噪声，现在的X近似服从高斯分布。 反向过程：随机生成一个服从高斯分布的噪声图片，然后一步一步的减少噪声直到生成想要的图片。 我们希望将t时刻的高斯噪声变成0时刻的图像，是很难一步到位的，和正向过程一样，先考虑t时刻图像和t−1时刻的关系，然后一步步向前推导得出结果。

Diffusion Model的原理

...................... ......................................................

第 13 页

Diffusion Model的实现流程：

Diffusion Model的原理

...................... ......................................................

第 14 页

图像空间是巨大的，具有三个颜色通道的 512×512 图像是一个 786432 维的空间！ Stable Diffusion旨在解决速度问题。Stable Diffusion利用潜在空间扩散（Latent diffusion）的模型。它不是在高维图像空间中操作，而是首先将图像压缩到潜空间（Latent space）中，潜空间（Latent space）相对于原始图像空间小了很多倍，所以速度会有较大的提升。

Diffusion Model的原理

...................... ......................................................

第 15 页

Stable Diffusion的架构

............................................................................

Stable Diffusion 模型并不是单一的一个模型，而是多个模型组成的运作系统，其中的技术可以拆解为 3 个结构来看：

第 16 页

Stable Diffusion的架构-ClipText 文本编码器

...........................................................................

CLIP 是由 OpenAI 提出的一种多模态神经网络，它能有效地借助自然语言的监督来学习视觉的概念。典型的视觉数据集是劳动密集型的，创建成本很高，且使用它们训练得到的标准视觉模型只擅长一项任务，导致适应新的任务并不容易。而 CLIP 在各种各样的图像上进行训练，同时依赖于互联网上大量自然语言的监督。

在 SD 模型运作过程中，它可以提取提示词文本部分的特征传递给图像生成器，让模型理解我们输入的提示词内容，从而达到文本控制图像生成的目的。

第 17 页

Stable Diffusion的架构-ClipText 文本编码器

...........................................................................

首先训练一个处理图像的 CNN 和一个处理文本的 Transformer 模型，来预测图像的 Caption 对比学习阶段：给定一个 Batch 的 N 个 (图片，文本) 对，图片输入给 Image Encoder 得到表征 I1,I2,....,In，文本输入给 Text Encoder 得到表征 T1,T2,....,Tn，其中 (Ij,Tj)属于是正样本，(Ij,Tk)属于负样本。最大化 N 个正样本的 Cosine 相似度，最小化N2−N个负样本的 Cosine 相似度。

第 18 页

Stable Diffusion的架构-ClipText 文本编码器

...........................................................................

Zero-Shot Transfer:这个阶段是使用 CLIP 的预训练好的 Image Encoder 和 Text Encoder 来做 Zero-Shot Transfer。比如来一张 ImageNet-1K 验证集的图片，可以使用CLIP 预训练好的模型能完成这个分类的任务 模型的参数是冻结的，在图像生成过程中参数是不会发生变化的

第 19 页

Stable Diffusion的架构-Diffusion 扩散模型

............................................................................

U-Net 原本是用于生物医学图像分割的神经网络模型，因为工作结构像一个 U 型字母，因此被称为 U 型神经网络训练模型。在扩散模型中，U-Net 可以辅助提取并解构训练图像的特征，有了它就能在较少训练样本的情况下获得更加准确多样的数据信息，从而使模型在出图结果上更加精确。

在训练扩散模型过程中，可以采用不同的算法来添加噪音，而 Scheduler 就是用来定义使用哪种算法来运行程序，它可以定义降噪的步骤、是否具备随机性、查找去噪后样本的算法等，因此它又被称为采样算法。在 WebUI 中，它是可调节的一项，我们可以根据图像类型和使用的模型来选择不同的采样器，从而达到更佳的出图效果。

第 20 页

Stable Diffusion的架构-VAE 模型

............................................................................

最后的解码器 VAE，全称是 Variational Auto Encoder 变分自动编码器。简单来说，它的作用就是将高维数据（像素空间）映射到低维空间（潜空间），从而实现数据的压缩和降维。它由编码器（Encoder）和解码器（Decoder）两部分组成，编码器用于将图像信息降维并传入潜空间中，解码器将潜在数据表示转换回原始图像，而在潜在扩散模型的推理生成过程中我们只需用到 VAE 的解码器部分。

整个过程只运行一次即可生成最终的像素图像

第 21 页

Stable Diffusion 处理流程

文生图的流程

3

........................................................................

第 22 页

Stable Diffusion的处理流程

............................................................................

Stable Diffusion从文本生成图像的流程如下所示： Stable Diffusion在潜空间中生成随机张量。可以通过设置随机数生成器的来控制此张量。如果将种子设置为某个值，获得相同的随机张量。 网络 U-Net 将潜在噪声图像和文本提示作为输入，并预测噪声，也在潜在空间（4x64x64 张量）中。 从潜在图像中减去潜在噪声。这将成为新潜在图像 步骤 2 和 3 重复一定数量的采样步骤，例如 20 次 最后，VAE的解码器将潜在图像转换回像素空间。这是运行Stable Diffusion后获得的图像。

第 23 页

Stable Diffusion应用场景

文生图 图生图 图像修复

4

........................................................................

第 24 页

Stable diffusion的应用场景

............................................................................

文生图

Stable Diffusion将输入的文字转化为图像效果 ，使文本更加生动

图生图

图生图就是依赖图片和提示词进行二次创作。从而减少图片生成的随机性，更好的满足我们的需求。 图生图也可生成带有深度信息的图像。

图像修复

图像修复通过替换&填充图像中指定区域的纹理/像素，使其与周围纹理/像素融为一体，达到自然和谐的修复效果。

以下为 PPT 文字提取版（图表无法提取，原文见附件）。

第 1 页

Stable Diffusion的训练与部署

第 2 页

高性能应用服务HAI

平台介绍 服务优势 应用场景

1

...................................................................

创建Stable Diffusion实例

申请服务 创建服务 WebUI Jupyter_Lab 服务销毁

2

...................................................................

Stable Diffusion的训练

训练方法 Dreambooth训练 LoRA训练

3

...................................................................

Stable Diffusion的预测

Dreambooth预测 LoRA预测

4

...................................................................

第 3 页

高性能应用服务HAI

平台介绍 服务优势 应用场景

1

........................................................................

第 4 页

高性能应用服务HAI

............................................................................

推荐使用搭载N卡的Windows系统，MacOS在默认配置下仅支持CPU运算，图形性能较差，插件支持有限，且训练模型困难。 推荐使用云端部署Stable Diffusion，将其部署在云服务器上使用。

Stable Diffusion模型的配置要求：

第 5 页

高性能应用服务HAI

..........................................................................

澎湃算力，即开即用。以应用为中心，匹配GPU云算力资源，助力中小企业及开发者快速部署LLM、AI作画、数据科学等高性能应用

无需复杂配置，便可享受即开即用的GPU云服务体验。在 HAI 中，根据应用智能匹配并推选出最适合的GPU算力资源，以确保在数据科学、LLM、AI作画等高性能应用中获得最佳性价比。

第 6 页

服务优势

............................................................................

智能选型 根据应用匹配推选GPU算力资源，实现最高性价比。同时，打通必备云服务组件，大幅简化云服务配置流程。

一键部署 分钟级自动构建LLM、AI作画等应用环境。提供多种预装模型环境，包含如StableDiffusion、ChatGLM等热门模型。

可视化界面 提供开发者友好的图形界面，支持JupyterLab、WebUI等多种算力连接方式，AI研究调试超低门槛。

基于腾讯云GPU云服务器底层算力，提供即插即用的高性能云服务。

第 7 页

服务优势

............................................................................

大幅降低GPU云服务器使用门槛，多角度优化产品使用体验，开箱即用

第 8 页

应用场景-AI作画

............................................................................

基于Stable Diffusion开源模型进行AI绘画

场景介绍 AI绘画是一种利用深度学习算法进行创作的绘图方式。广泛应用于数字媒体、游戏、动画、电影、广告等领域。 业务痛点 GPU卡型多样，算力、显存差异大，选型困难 环境配置复杂、模型安装和调试门槛高 各类插件迭代频繁，难以在进行环境管理 产品优势 智能匹配算力，多种算力套餐满足不同需求的绘图性能。 预置主流AI作画模型及常用插件，无需手动部署，支持即开即用。 动态更新模型版本，确保模型版本与时俱进，无需频繁操作。

第 9 页

应用场景-AI对话/写作

............................................................................

场景介绍 大语言模型在广泛的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。 业务痛点 环境配置复杂，部署难度大。 模型效果调试难，无可视化界面。 模型、数据集储存流程繁琐，难以快捷保存 产品优势 预置国内外主流LLM大语言模型。 支持可视化界面一键登录，方便调优 打通云上存储组件，支持模型、数据集快捷存储

基于开源大语言模型，创作属于自己的Agent、企业知识库

第 10 页

应用场景-AI开发/测试

............................................................................

算法研发：学术研究、论文

场景介绍 面向高校、研究所等大量科研场景，需针对深度学习、机器学习等前沿算法进行开发探索。 业务痛点 需要大量的计算资源进行验证和优化。 涉及多种框架、模型及开发库，环境配置复杂。  产品优势 提供多种高性能GPU云服务器，满足算法验证和测试的需求。 提供公共模型、数据集文件存储桶，优化资源拉取效率。

第 11 页

创建stable diffusion实例

申请服务 创建服务 WebUI Jupyter_lab 服务销毁

2

........................................................................

第 12 页

Stable Diffusion实例创建

............................................................................

使用高性能应用服务HAI快速搭建并使用AI模型 Stable Diffusion ，实现过程如下:

申请高性能应用服务HAI

第 13 页

服务申请

............................................................................

点击链接进入 高性能应用服务 HAI 中【申请资格】

等待审核通过后，点击【前往体检Hai】即可进入高性能应用平台Hai

第 14 页

创建服务

............................................................................

登录 高性能应用平台Hai的【控制台】，如下所示：

点击【新建】即可进入创建实例的页面。

第 15 页

创建服务

..........................................................................

服务创建时，要配置服务器信息，如下所示：

第 16 页

创建服务

..........................................................................

服务创建完成，可查看相关状态，如下所示：

第 17 页

创建服务

............................................................................

也可查看服务的详细信息，如下所示：

第 18 页

webui

............................................................................

要进入 StableDiffusionWebUI ，可选择以下两种方式：

接下来即可进入 Stable Diffusion WebUI 中，进行推理处理。

第 19 页

webui

............................................................................

WebUI 生成图像的界面如下所示：

第 20 页

JupyterLab

............................................................................

要进入 JupyterLab ，可选择以下两种方式：

接下来即可进入 JupyterLab中。

第 21 页

JupterLab

..........................................................................

JupyterLab界面如下所示：

JupyterLab的使用方式与云服务器的使用是一样的。

第 22 页

JupyterLab

JJ..........................................................................

建议使用Stable Diffusion前先安装一些主要的前置应用，如Python、Git和CUDA，以减少报错的可能性并提高下载速度。

第 23 页

Stable Diffusion的训练

训练方法 Dreambooth训练 LoRA训练

3

........................................................................

第 24 页

常见的训练方法

............................................................................

Stable Diffusion有四种训练模型的方法，如下所示：

第 25 页

DreamBooth训练

............................................................................

DreamBooth 主要是对文本生成图片模型进行微调，它使用户可以用几张个性化的图片（比如个人照片，自家宠物照片），以很少的训练成本就可以训练一个专属的模型。

对于这一组个性化的图片，首先需要定义一个专属的 prompt，比如 a [V] dog， [V] 是一个罕见没有什么含义的符号组合。在训练的过程中，首先用文本编码器提取这个专属 prompt 的文本特征，然后用图像编码器提取图片的特征，以文本特征，图像特征，作为扩散模型的输入，进行模型训练。预测输入关键词即可生成对应风格的图片。

第 26 页

DreamBooth训练-实验过程

............................................................................

本实验基于开源代码diffusers，显存需要24G以上，在HAI平台的JupyterLab中实现。代码结构如下所示：

第 27 页

DreamBooth训练-数据准备

............................................................................

收集一些格子衫的图片，将图像统一处理成 512*512 格式的图片：

该数据集中包含103 张格子衫图片，为了使 DreamBooth 模型更加多样化，尽量使用不同的环境、灯光、发型、表情、姿势、角度等，将这些数据放入文件夹train_images中。

第 28 页

DreamBooth训练-开始训练

............................................................................

DreamBooth训练的代码在脚本dreambooth-gezishan.ipynb中，首先是全局变量的设置，如下所示 ：

第 29 页

DreamBooth训练-开始训练

............................................................................

接下来实现源模型到diffusers模型的转换，如下所示 ：

第 30 页

DreamBooth训练-开始训练

............................................................................

格子衫任务训练的prompt是：Plaidshirtprogrammer，将其配置如下所示：

INSTANCE_PROMPT 中填入 Plaidshirtprogrammer。 可以指定任意关键词，但是需要找一个“不存在的词”。 CLASS_PROMPT 是让AI自动生成 image用的prompt，不要有专属关键词即可。 预览图设置需要修改成你想生成的图片的prompt

第 31 页

DreamBooth训练-开始训练

............................................................................

加速器的配置如下所示：

该配置文件包含了一些与 Accelerated Inference 相关的默认配置，如计算环境、分布式训练设置、混合精度等。这样的配置文件通常用于定义加速推理的运行环境和选项：

第 32 页

DreamBooth训练-开始训练

............................................................................

格子衫任务训练常用参数配置,如下所示：

第 33 页

DreamBooth训练-开始训练

............................................................................

格子衫任务训练参数配置,如下所示: (这些参数一般不需要修改)

第 34 页

DreamBooth训练-开始训练

............................................................................

执行以下代码即可进行模型训练：

第 35 页

DreamBooth训练-开始训练

............................................................................

模型训练的输出如下所示：

第 36 页

DreamBooth训练-开始训练

............................................................................

模型训练完成后，会保存训练权重：

这种模型权重无法直接在WebUI中使用，我们需要将其转换为ckpt的形式，转换代码如下所示：

第 37 页

LoRA训练

....................................................................

LoRA的全称是 Low-Rank Adaptation of Large Language Models，即大语言模型的低阶适应。

第 38 页

Lora训练-实验过程

....................................................................

LoRA训练基于开源代码kohya_ss来实现，显存需要8G以上，在HAI平台的JupyterLab中实现。具体结果如下所示：

第 39 页

Lora训练-准备数据

....................................................................

使用LoRA方法进行训练给我们的任务带上眼镜，我们收集了一系列的数据，如下所示：

该数据集包含20张图片，每张图片对应着一个txt文件,文本文件中记录着对应图片的文本描述。数据放入文件夹train中，存放方式如下所示：

第 40 页

LoRA训练-模型训练

....................................................................

首先配置LoRA训练的预训练模型路径、模型类型、参数化、训练数据集路径以及指定网络结构和超参数。如下所示：

这里需要将前面训练的格子衫模型放入指定文件夹中，并放置好训练图片的位置即可，其他参数按上述进行配置。

第 41 页

LoRA训练-模型训练

....................................................................

配置LoRA训练相关的参数设置。主要配置了图像分辨率、批次大小、最大训练轮数、模型保存频率以及训练模式（是否仅训练U-Net或文本编码器）,如下所示：

第 42 页

LoRA训练-模型训练

....................................................................

设置LoRA学习率，其中包括整体模型学习率 (lr)、U-Net 部分的学习率 (unet_lr) 以及文本编码器的学习率 (text_encoder_lr)。选择了余弦退火重启模式作为学习率调度器 (lr_scheduler)，并设置了相应的参数，如预热步数 (lr_warmup_steps) 和余弦退火的重启周期数 (lr_restart_cycles)。还设置了优化器的类型 (optimizer_type)，默认选择了 "AdamW8bit",如下所示：

第 43 页

LoRA训练-模型训练

....................................................................

最后配置输出模型的名称和保存格式，是否保存训练状态，以及其他与数据处理相关的设置,如下所示：

第 44 页

LoRA训练-模型训练

....................................................................

配置好相应的参数，启动分布式训练的命令，进行模型训练，代码如下所示：

第 45 页

Lora训练-模型训练

....................................................................

训练结果如下所示：

第 46 页

LoRA训练-模型训练

....................................................................

训练模型存储结果如下所示：

接下来我们就可以使用DreamBooth 和LoRA训练出的模型进行预测。

第 47 页

模型训练

............................................................................

Hugging Face（抱脸网）：专注于构建、训练和部署先进开源机器学习模型的网站，包含的内容非常广泛，不仅仅包括 AI 绘画，还包括很多其他 AI 领域的东西。 网站地址： https://huggingface.co/models

Civitai（C 站）：专业的 AI 绘画模型分享平台，无需注册即可访问和下载模型，包含模型的详细介绍、使用教程、参考图等丰富内容 网站地址： https://civitai.com/

哩布哩布 AI：国内的 AI 绘画原创模型网站，包含大量模型和绘图作品，还支持在线 Stable Diffusion 绘图。 网站地址： https://www.liblib.art/

预训练模型的获取方式：

第 48 页

Stable Diffusion的预测

DreamBooth预测 LoRA预测

4

........................................................................

第 49 页

模型预测

....................................................................

模型预测在webUI中完成：

第 50 页

DreamBooth模型预测

....................................................................

首先我们将格子衫模型添加到stable-diffusion-webui/models/Stable-diffusion文件夹中

第 51 页

DreamBooth模型预测

....................................................................

接下来我们在UI端进行设置，注意需要在正向prompt中添加dreambooth的prompt：

点击【生成】后在右下角即可查看结果。

第 52 页

LoRA模型预测

...............................................................

首先我们将LoRA训练的模型添加到stable-diffusion-webui/models/Lora中:

第 53 页

LoRA模型预测

....................................................................

LoRA预测的方法与DreamBooth的方式是类似的，整个操作流程如下所示：

第 54 页

LoRA模型预测

....................................................................

接下来返回文生图的界面：

点击【生成】后在右下角即可查看结果。

第 55 页

高性能应用服务Hai

平台介绍 服务优势 应用场景

1

...................................................................

创建Stable Diffusion实例

申请服务 创建服务 WebUI Jupyter_Lab 服务销毁

2

...................................................................

Stable Diffusion的训练

训练方法 Dreambooth训练 LoRA训练

3

...................................................................

Stable Diffusion的预测

Dreambooth预测 LoRA预测

4

...................................................................

以下为 PPT 文字提取版（图表无法提取，原文见附件）。

第 1 页

腾讯云AI绘画

第 2 页

腾讯云AI绘画介绍

服务形态 产品优势 应用场景

1

...................................................................

API的使用

文生图API 图生图API

2

...................................................................

SaaS应用

文生图 图生图

3

...................................................................

最佳实践

API接口调用 任务管理 小程序开发

4

...................................................................

第 3 页

腾讯云AI绘画介绍

服务形态 产品优势 应用场景

1

........................................................................

第 4 页

腾讯云AI绘画

............................................................................

腾讯云AI绘画是一款基于腾讯优图实验室自研的 AI 图像生成与编辑技术产品，能够结合输入的文本或图片智能创作与输入相关的图像内容。

第 5 页

腾讯云AI绘画

............................................................................

中文理解能力强，可以根据输入的图片或文本创作与之相关的图像内容。

风格选择多样化，支持东方审美的绘画创作能力。

支持中文场景下的建筑风景生成、古诗词理解、水墨剪纸等中国元素风格生成。

支持各种动漫、游戏风格的高精度图像生成和风格转换。

为高质量的内容创作、内容运营提供技术支持。

第 6 页

服务形态

............................................................................

API AI 绘画提供 API 技术服务，需要调用 API 接口来使用，适用于有代码编写基础、对 HTTP 请求和 API 调用有一定了解的开发者。

SaaS 腾讯云智能图像创作平台(Tencent Cloud TI-Image Platform)是一款基于AI算法，通过输入文字或图片即 可生成高质量图片的AI绘画在线创作工具。可以直接通过网页端输入文本或图像，调用腾讯云AI绘画完成图像生成任务，不需编程基础。

腾讯云AI绘画提供 API和SaaS两种服务形态：

第 7 页

产品优势

.........................................................................

自研算法

标准化接口封装，调用简单，兼容性强。

第 8 页

应用场景-文化传播

............................................................................

策划者可以将活动形式与潮流的 AIGC 创意玩法相结合，打造生动有趣的艺术文化主题活动，人人皆可参与互动，自由尝试艺术创作，体验文化多样魅力，提升互动氛围和活动影响力。 典型场景：新年活动、诗意作画、万物皆可剪纸等。

第 9 页

应用场景-风格变换

............................................................................

为图片切换各种创意风格，令图片具备独特的艺术特征，呈现出丰富多彩的艺术灵感。 典型场景：头像风格化、场景风格化。

第 10 页

应用场景-文学配图

............................................................................

对描述型的文稿进行素材配图的创作，输入的文稿可以引发读者的想象力和共情，更适合网络文学、非严肃报告、非科学研究说明文等的文章配图。 典型场景：网络小说封面、公众号推文插图等。

第 11 页

应用场景-设计辅助

............................................................................

游戏、漫画、影视等场景的初始化设计和草图创作，前期借助 AI 能力进行大量的实验作为初步的风格、内容、构图尝试积累，从中选择出相对较好的效果参考进行进一步的高精度内容创作，帮助制作人从大量繁琐冗余的细节工作中抽身。 典型场景：游戏原画设计、漫画草图创作、影视分镜场景构建、海报等物料设计等。

第 12 页

API使用

文生图 图生图

2

........................................................................

第 13 页

API使用-文生图

............................................................................

智能文生图接口将根据输入的描述文本，智能生成与之相关的结果图。 输入：256个字符以内的描述性文本，推荐使用中文。 输出：对应风格及分辨率的 AI 生成图。

第 14 页

API使用-文生图示例

.........................................................................

输入示例：

输出示例：

第 15 页

API使用-文生图示例

.........................................................................

腾讯云AI绘画的API的调用方式可查看连接

第 16 页

API使用-文生图示例

...........................................................................

生成的图片结果如下所示：

第 17 页

API使用-图生图

............................................................................

智能图生图接口将根据输入的图片及辅助描述文本，智能生成与之相关的结果图。 输入：单边分辨率小于2000、转成 Base64 字符串后小于 5MB 的图片，建议同时输入描述文本。 输出：对应风格及分辨率的 AI 生成图。

第 18 页

API使用-图生图示例

...........................................................................

输入示例：

输出示例：

第 19 页

AI绘画图生图示例

.........................................................................

腾讯云AI绘画图生图的API的调用方式可查看连接：

第 20 页

API使用-图生图示例

...........................................................................

第 21 页

SaaS应用

3

........................................................................

腾讯云智能图像创作平台

第 22 页

SaaS应用

.........................................................................

腾讯云智能图像创作平台(Tencent Cloud TI-Image Platform)是一款基于AI算法，通过输入文字或图片即 可生成高质量图片的AI绘画在线创作工具。 核心功能：在线创作，提供文生图/图生图能力 产品链接：https://ti-image.cloud.tencent.com/

第 23 页

SaaS应用

.........................................................................

文生图:支持25种风格 图生图:支持5种风格

第 24 页

SaaS应用

.........................................................................

图像生成之后，满意的作品，可以下载也可手动【存至我的作品】，【存至我的作品】的画作，可在【我的作品】页面管理

第 25 页

SaaS应用

.........................................................................

在【我的作品】中，可进行单张下载或删除，也可进行批量下载或删除。

第 26 页

最佳实践

4

........................................................................

小程序端AI绘画实践

第 27 页

实现思路

.........................................................................

用腾讯云AI绘画实现小程序的AI绘画，主要思路如下所示：

第 28 页

代码结构

.........................................................................

腾讯云AI绘画的小程序实践的代码结构：

第 29 页

小程序的实现方式

.........................................................................

腾讯云AI绘画文生图API调用方式：

第 30 页

小程序的实现方式

.........................................................................

使用Golang调用腾讯云AI绘画接口，在draw.go文件中实现，具体如下所示：

第 31 页

小程序的实现方式

.........................................................................

腾讯云接口调用之后 一、用户把任务提交到cos上，绘画服务通过cos的内容来执行AI画画任务。 二、通过执行shell命令，并将生成好的图片上传到cos,具体实现如下所示：

第 32 页

小程序的实现方式

.........................................................................

通过cos来实现任务管理，实现生成随机字符串、生成任务ID、推送任务、拉取任务、查询任务结果等功能，用于任务的异步处理和结果的存储与查询，该部分代码在job.go文件中，具体实现如下所示： ：

第 33 页

小程序的实现方式

.........................................................................

在main.go文件中，小程序要通过中转服务来异步处理消息，该服务主要包括： 一、转发请求到AI绘画。 二、查询AI绘画的结果，具体实现如下所示：

第 34 页

小程序的实现方式

.........................................................................

在main.go文件中，main方法中实现了程序的主要逻辑，具体如下所示：

第 35 页

小程序的实现方式

.........................................................................

小程序实现AI绘画，主要在index.js文件中，主要包括以下内容：

第 36 页

小程序的实现方式

.........................................................................

在index.wxml文件中实现了一个简单的图像生成应用界面。用户可以输入创意提示，点击按钮后，后台会生成图像。用户可以查看任务状态、完成数量以及处理和剩余时间。生成的图像会在页面上展示。整个应用通过与后台服务器的通信实现，具体实现如下所示：

第 37 页

执行方式

.........................................................................

1、切换当前工作目录 "drawserver"中 cd drawserver 2、在进入 "drawer" 目录之后，执行以下命令： go build . Go 编译器在当前目录中构建 Go 程序。点号（.）表示当前目录。go build 命令会编译当前目录中的 Go 源代码文件，并生成一个可执行的二进制文件。 3、运行 "drawserver" 的可执行文件，启动小程序服务端和AI画画服务 ./drawserver -w=true

在终端执行以下过程：

第 38 页

执行结果

.........................................................................

小程序调用腾讯云AI绘画的效果：