TextDiffuser-2 – 微软等推出的AI图像文本渲染融合框架

TextDiffuser-2是什么

Text-Diffuser 2是由来自微软研究院、香港科技大学和中山大学的研究人员最新推出的一个基于扩散模型的文本渲染方法，旨在解决图像扩散模型生成文字时在灵活性、自动化、布局预测能力和风格多样性方面的局限性，以提高生成图像中视觉文本的质量和多样性。

TextDiffuser--2的创新之处在于其利用了语言模型的强大能力来自动规划和编码文本布局，从而在保持文本准确性的同时，增加了生成图像的多样性和视觉吸引力。相比于第一代TextDiffuser，在多个方面进行了提升和优化，如布局规划的改进、行级别的文本编码、聊天交互动态调整文本布局、文本渲染的优化、更多样化风格的文本等。

TextDiffuser-2的官网入口

• 官方项目主页：https://jingyechen.github.io/textdiffuser2/
• Hugging Face Demo：https://huggingface.co/spaces/JingyeChen22/TextDiffuser-2
• GitHub地址：https://github.com/microsoft/unilm/tree/master/textdiffuser-2
• arXiv研究论文：https://arxiv.org/abs/2311.16465

TextDiffuser-2的功能特性

• 文本布局规划：自动从用户输入的提示中推断出关键词，并规划文本在图像中的布局，且允许用户指定关键词，并确定它们在图像中的位置。还支持通过与用户进行交互式聊天，动态调整文本布局，如重新生成、添加或移动文本元素。
• 文本布局编码：在扩散模型中，使用语言模型来编码文本的位置和内容，以生成文本图像。采用行级别的文本编码，而不是字符级别的，以提供更大的灵活性和风格多样性。
• 文本图像生成：根据规划的文本布局，生成包含准确、视觉吸引人的文本的图像。支持多种文本风格，包括手写体和艺术字体，以增强图像的视觉多样性。
• 文本模板图像生成：当提供模板图像时，TextDiffuser-2可以直接使用现有的OCR工具提取文本信息，并将其作为条件输入到扩散模型中，无需从语言模型中预测布局。
• 文本修复：类似于第一代TextDiffuser，TextDiffuser-2可以适应文本修复任务，通过修改U-Net的输入卷积核通道来训练模型，以填补图像中的文本区域。
• 无文本的自然图像生成：即使在文本数据上进行微调，TextDiffuser-2也能在原始领域（如COCO数据集）中保持其生成能力，生成不包含文本的图像。
• 处理重叠布局：TextDiffuser-2在处理预测布局中出现的重叠文本框时表现出更高的鲁棒性，能够生成更准确的文本图像。

TextDiffuser-2的工作原理

1. 用户输入：用户提供一个描述性的提示（prompt），这个提示可以是关于所需生成图像的文本内容和布局的描述。
2. 布局规划：使用一个预训练的大型语言模型（例如GPT-4），该模型经过微调，能够根据用户提示自动推断出文本内容和布局。该模型可以处理两种情况：一是在没有用户提供关键词的情况下自动生成文本和布局；二是在用户提供关键词的情况下，确定这些关键词的布局位置。语言模型输出的布局信息包括文本行的坐标，如每个文本行的左上角和右下角坐标。
3. 布局编码：基于布局规划的结果，TextDiffuser-2使用另一个语言模型来编码文本布局信息。该模型将用户提示和布局信息结合起来，形成一个适合于扩散模型处理的格式。为了编码文本位置，TextDiffuser-2引入了特殊的标记来表示坐标，例如“[x5]”和“[y70]”分别表示x坐标和y坐标的值。
4. 扩散模型训练：TextDiffuser-2的扩散模型通过去噪L2损失进行训练，以学习如何根据编码的文本布局信息生成图像。这个过程涉及到从随机噪声状态逐步引导到目标图像的生成过程。
5. 图像文本生成：在生成阶段，扩散模型根据编码的文本布局信息生成图像。这个过程通常需要多个步骤，每一步都会使生成的图像逐渐接近最终的文本布局和内容。
6. 用户交互：TextDiffuser-2允许用户通过多轮聊天与模型交互，以进一步调整文本布局。用户可以请求重新生成布局、添加或删除关键词，或者移动关键词到新的位置。
7. 评估和优化：生成的图像会经过评估，以确保文本的准确性和图像的视觉质量。这可能包括使用OCR工具来评估文本的可读性和准确性，以及通过用户研究来评估图像的美学和实用性。