即梦（Dreamina）技术浅析（二）：后端AI服务
1. 文本处理（Text Processing）
1.1 功能概述
文本处理模块的主要任务是将用户输入的文字提示词转换为机器可以理解的向量表示。这一过程包括分词、词嵌入和语义编码，旨在捕捉文本的语义信息，为后续的图像和视频生成提供准确的指导。
1.2 关键技术
1.分词（Tokenization）：
- 技术细节：
- 使用基于BERT的分词器，将输入的文本拆分为词语或子词单元。
- 支持中文和英文混合的分词处理。
- 关键公式：
2.词嵌入（Word Embedding）：
- 技术细节：
- 将分词后的词语转换为向量表示，使用预训练的BERT或GPT模型。
- 捕捉词语的上下文信息，确保语义的一