多模态大一统：开启全模态LLM和通用AI时代的大门
多模态大一统：开启全模态LLM和通用AI时代的大门
-
- 1. 目前多模态实现的方法
-
- 1.1 单独训练各领域模型
- 1.2 多任务学习
- 1.3 集成多模态模型
- 1.4 通用多模态模型
- 2. 多模态统一难点
-
- 2.1 数据集对齐和融合
- 2.2 大规模计算资源需求
- 2.3 各领域特性的兼容性
- 2.4 可解释性和泛化能力
- 3. 全模态的好处
-
- 3.1 跨领域学习
- 3.2 更高质量的预测
- 3.3 自适应性和鲁棒性
- 3.4 实现真正的智能
- 4.如何做到llm全模态
-
- 4.1 模型主要架构
- 4.2 一级词表构成
- 4.3 二级词表构成
- 4.4 训练时候词表的转换</