《计算机视觉课件》课件1210v1-8.pptx

1、目录背景介绍Contents1章节概述2小节介绍3本章总结4背景介绍B A C K G R O U N D生 成 对 抗 网 络（G A N,G e n e r a t i v e A d v e r s a r i a l N e t w o r k s ）是 一 种 深 度 学 习 模 型，是 近 年 来 复 杂 分 布上 无 监 督 学 习 最 具 前 景 的 方 法 之 一。模 型 通 过 框 架 中（至少）两 个 模 块：生 成 模 型（G e n e r a t i v e M o d e l）和 判别 模 型（D i s c r i m i n a t i v e M o d e

2、 l）的 互 相 博 弈 学 习 产生 相 当 好 的 输 出。本 章 主 要 介 绍 生 成 对 抗 网 络 的 结 构 和 它的 简 单 原 理，并 通 过 多 种 G A N s 的 应 用 实 例 展 示 对 抗 网 络的 思 维。ONEGANs模型GANs的简单理论推导背 景 介 绍GANs应用生成对抗网络模型架构1.文本转图像2.照片风格转化3.人脸肖像编辑4.定制类别生成本 章 主 要 介 绍 生 成 对 抗 网 络 的 结 构 和 它 的 简 单 原 理，并 通 过 多 种G A N s 的 应 用 实 例 向 读 者 展 示 对 抗 网 络 的 思 维。第 1 节 将 会 介

3、 绍G A N s 的 模 型 设 计，首 先 会 介 绍 生 成 模 型 与 判 别 模 型 各 自 计 算 的内 容，然 后 会 讲 述 对 抗 网 络 思 想，并 基 于 这 一 思 想 阐 述 对 抗 网 络模 型 的 搭 建 方 式。第 2 节 会 从 理 论 上 介 绍 生 成 对 抗 网 络 的 来 龙 去脉，从 数 学 计 算 式 上 推 导 生 成 器 与 判 别 器 的 计 算 本 质。最 后 在 第3 节 会 介 绍 生 成 对 抗 网 络 在 应 用 上 的 实 践，包 括 文 本 转 图 像、图像 风 格 转 换、变 脸 术 和 定 制 图 片 生 成 四 个 内 容

4、。章节概述C H A P T E R O V E R V I E WTWO章 节 概 述小节介绍S E C T I O N I N T R O D U C T I O N 8.1 G A N s 模 型 介 绍 8.2 G A N s 的 简 单 理 论 推 导 8.3 G A N s 的 应 用 介 绍 THREE8.1 GANs模型介绍生成模型与判别模型：生成模型与判别模型：理解对抗网络，首先要了解生成模型和判别模型。判别模型比较好理解，就像分类一样，有一个判别界限，通过这个判别界限去区分样本。从概率角度分析就是获得样本x属于类别y的概率，是一个条件概率P（y|x）。而生成模型是需要在整个

5、条件内去产生数据的分布，就像高斯分布一样，需要去拟合整个分布，从概率角度分析就是样本x在整个分布中的产生的概率，即联合概率P（xy）。对抗网络思想：对抗网络思想：理解了生成模型和判别模型后，再来理解对抗网络就很直接了，对抗网络只是提出了一种网络结构，总体来说，GANs简单的想法就是用两个模型，一个生成模型，一个判别模型。判别模型用于判断一个给定的图片是不是真实的图片（从数据集里获取的图片），生成模型的任务是去创造一个看起来像真的图片一样的图片。而在开始的时候这两个模型都是没有经过训练的，这两个模型一起对抗训练，生成模型产生一张图片去欺骗判别模型，然后判别模型去判断这张图片是真是假，最终在这两个

6、模型训练的过程中，两个模型的能力越来越强，最终达到稳态。生成对抗网络模型架构详细实现过程：详细实现过程：前向传播过程：8.1 GANs模型介绍反向传播过程：第一步：优化D第二步：优化G总的损失函数：生成对抗网络模型架构详细实现过程：详细实现过程：8.1 GANs模型介绍图像空间分布生成器的目标表达式判别器的采样过程8.2 GANs的简单理论推导判别器计算Div的推导：8.2 GANs的简单理论推导8.2 GANs的简单理论推导图片转文字功能8.3.1 8.3.1 文本转图片算法CGANCGANCGAN的GCGAN的DCGAN即带有条件限制的生成网络（Conditional GAN），可以实现指

7、定类别的定向生成；CGAN不同于不同于GANs的部分为：的部分为：CGAN的生成器有两个输入，一个是条件词：c，另外一个是从原始图片中采样出的分布z，它的输出是一个图片：x，它希望这个x尽可能地符合条件c的描述，同时足够清晰，CGAN的判别器的输入同样被替换成了两组向量：c和x，输出有两个部分，一个是判断x是否是真实图片，另一个是x和c是否是匹配的。8.3 GANs的应用介绍8.3.1 8.3.1 文本转图片算法CGANCGANCGAN的算法流程CGAN的算法流程：的算法流程：重点关注两个损失函数即可。1.对于判别器的损失函数来说（如上），第一项是正确条件与真实图片的pair，应该给高分；第二

8、项是正确条件与仿造图片的pair，应该给低分（于是加上了“”）；第三项是错误条件与真实图片的pair，也应该给低分。2.对于生成器的损失函数来说（如上），由于其目的就是让判别器给仿造图片的得分越高越好，这与传统GANs本质上是一致的，8.3 GANs的应用介绍8.3.2 8.3.2 照片风格转化算法CycleGANCycleGANCycleGAN原理CycleGAN的核心思想：的核心思想：通过循环一致性损失，让A风格照片转换成B风格后，再通过另一个生成器使得B风格能转换回A风格，保障信息的不丢失。8.3 GANs的应用介绍8.3.3 8.3.3 局部变脸术算法StarGANStarGANSta

9、rGAN原理StarGAN的核心思想：的核心思想：首先目标domain和输入图片会被输入到生成器然后生成器伪造图片一方面会被传给判别器，判别器会判别这张图片的真假以及domain分类是哪，另一方面这个伪造图片会被再次传回给这个生成器（中图），不过目标domain改成了原始的来源domain，那模型会希望第二次输出的图片能和最开始的输入图片尽可能相似。其实整套训练流程与CycleGAN是非常相似的，不同之处在于CycleGAN使用了两个生成器做风格的来回变换，而在StarGAN中仅使用了一个生成器实现这一变换。8.3 GANs的应用介绍8.3.4 8.3.4 定制图片生成算法InfoGANInf

10、oGANInfoGAN架构8.3 GANs的应用介绍本章总结C H A P T E R S U M M A R Y本 章 较 为 简 易 地 介 绍 了 生 成 对 抗 网 络。首 先 第 一 节 介 绍 了G A N s 的 模 型 架 构，也 就 是 将 生 成 模 型 与 判 别 模 型 组 合 在一 起，实 现 对 抗 训 练；然 后 第 二 节 从 理 论 上 解 释 了 这 样 的模 型 架 构 的 运 行 原 理，并 证 明 出 它 是 能 够 生 效 的；最 后 第三 节 介 绍 了 4 个 G A N s 在 应 用 方 面 的 实 例，用 实 践 的 示 例进 一 步 展 示 对 抗 网 络 的 巧 妙 思 维。FOUR本章总结