Monolith - 大规模推荐建模的深度学习框架
文章目录
- 一、关于 Monolith
- 二、快速开始
- 1、从源代码构建
- 2、示例和教程
一、关于 Monolith
- github : https://github.com/bytedance/monolith
- Discord
Monolith 是一个用于大规模推荐建模的深度学习框架。它引入了两个对高级推荐系统至关重要的特性：
- collisionless embedding tables 保证不同ID特征的唯一表示
- 实时训练捕捉最新的热点，帮助用户快速发现新的兴趣点
Monolith 是基于 TensorFlow 构建的，支持批量/实时训练和部署。
二、快速开始
1、从源代码构建
目前，我们仅支持在 Linux 上进行编译。
首先，下载 bazel 3.1.0
wget https://github.com/bazelbuild/bazel/releases/download/3.1.0/bazel-3.1.0-installer-linux-x86_64.sh && \
chmod +x bazel-3.1.0-installer-linux-x86_64.sh && \
./bazel-3.1.0-installer-linux-x86_64.sh && \
rm bazel-3.1.0-installer-linux-x86_64.sh
然后，准备一个 Python 环境
pip install -U --user pip numpy wheel packaging requests opt_einsum
pip install -U --user keras_preprocessing --no-deps
最后，你可以在单体中构建任何目标。例如，
bazel run //monolith/native_training:demo --output_filter=IGNORE_LOGS
2、示例和教程
在 markdown/demo 中有一个 关于如何运行 分布式异步训练 的教程，以及一些关于如何使用 MonolithModel API 的指南 这里。
伊织 2024-01-03（五）