40 lines
4.2 KiB
Markdown
40 lines
4.2 KiB
Markdown
|
# 2024-11-15感知智能组会汇报
|
|||
|
|
# 一、近期工作
|
|||
|
|
**Image Generation** vs **Image Reconstruction**
|
|||
|
|
* **Image Generation**：指通过算法从零开始生成新的图像，通常基于一些输入条件（如文本描述、特定样式、语义信息）或随机噪声（如生成对抗网络的输入）。目的是创造出逼真的、具有特定特征的图像。
|
|||
|
|
* **无条件生成**是指无条件地从数据集中生成样本，即：$p(y)$；
|
|||
|
|
* **条件图像生成**（子任务）是指根据标签有条件地从数据集中生成样本，即：$p(y|x)$
|
|||
|
|
* **Image Reconstruction**：指从已有的、可能损坏、不完整或压缩的图像数据中恢复原始图像，或者从观测数据中重建图像。目标是尽可能还原出真实图像。
|
|||
|
|
|
|||
|
|
| **特性** | 图像生成 (Image Generation) | 图像重建 (Image Reconstruction) |
|
|||
|
|
|--------|------|--------|
|
|||
|
|
| **输入** | 随机噪声、文本或条件标签等 | 受损图像、不完整数据（如低分辨率图像、部分丢失的像素、模糊图像） |
|
|||
|
|
| **输出** | 全新的图像，可能是艺术性的、合成的或逼真的 | 修复后的图像，接近原始清晰图像 |
|
|||
|
|
| **目标** | 目标是创造性地生成新图像，关注生成图像的多样性和真实性；注重图像的视觉质量、逼真度以及与输入条件的匹配度。 | 目标是恢复或重建图像，尽可能减少噪声、模糊和失真；注重恢复的准确性和保真度，强调与真实图像的接近程度。 |
|
|||
|
|
| **技术方法** | 典型方法包括生成对抗网络（GANs）、变分自编码器（VAEs）、扩散模型、条件生成模型等 | 通常基于优化和重建技术，包括卷积神经网络（CNNs）、自编码器（Autoencoders）、逆问题求解方法（如去噪、自适应插值）、正则化技术等 |
|
|||
|
|
| **应用场景** | 数字艺术与内容创作（如DALL·E、Stable Diffusion）、数据增强（为训练AI生成多样化样本）、虚拟世界构建（如游戏、元宇宙）、图像翻译（风格迁移、照片转漫画） | 医学成像（如CT/MRI图像修复）、摄影中的图像去噪、超分辨率重建、遥感影像处理（如卫星图像云层去除）、逆向工程（如压缩图片的质量恢复） |
|
|||
|
|
|
|||
|
|
图像生成更侧重创新性，图像重建更注重还原性，但两者都在提升图像质量和智能处理方面发挥着重要作用。
|
|||
|
|
|
|||
|
|
我们所希望做的特征还原/图像补全/遮挡还原更倾向于**Image Reconstruction**部分的内容，但可以同时借鉴Generation和Reconstruction两个部分的内容展开。
|
|||
|
|
* 从**Image Generation**的角度：关注补全的多样性和合理性
|
|||
|
|
* 全局理解：
|
|||
|
|
* MAE需要通过观察未遮挡部分来推测被遮挡区域的内容，这需要全局上下文信息的支持，与图像生成中的全局一致性思路相似。
|
|||
|
|
* 补全结果不仅要像原图，还需要自然、符合上下文逻辑。
|
|||
|
|
* 潜在表征学习：
|
|||
|
|
* MAE利用自监督学习，类似生成任务中的生成网络，通过学习隐藏空间（latent space）中的表征来预测缺失区域的可能内容。
|
|||
|
|
* 去噪补全：
|
|||
|
|
* 与扩散模型类似，MAE可以从不确定性的潜在空间中逐步补全遮挡区域。
|
|||
|
|
* 从**Image Reconstruction**的角度：注重还原真实性
|
|||
|
|
* 输入部分：
|
|||
|
|
* MAE的输入是遮挡了部分像素的图像，这与图像重建任务中不完整图像作为输入相似。
|
|||
|
|
* 模型需要从局部上下文信息中恢复被遮挡的区域，这与图像重建强调从不完整数据中提取有用信息的思路一致。
|
|||
|
|
* 目标：
|
|||
|
|
* 恢复缺失的像素，使得补全后的图像尽可能接近原始图像，注重重建的保真度。
|
|||
|
|
* MAE的设计目标是通过有效的编码和解码过程，使模型学会图像的局部与整体关系。
|
|||
|
|
|
|||
|
|
为了实现我们想要的部分，最好是找reconstruction领域去finetune的合理方法以及在generation领域的创新模块表示。除此之外，在segmentation领域找到优化的方案。
|
|||
|
|
|
|||
|
|
|
|||
|
|
# 二、未来规划
|
|||
|
|
阅读《Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting》以及所总结的和自己相关方向的论文
|