云平台一键部署【SGLang】适用于大型语言模型和视觉语言模型的快速服务框架
SGLang 是一个适用于大型语言模型和视觉语言模型的快速服务框架。它通过共同设计后端运行时和前端语言，使您与模型的交互更快、更可控。
优点：
-
1.吞吐量碾压级优势
-
2.结构化输出快如闪电
-
3.多 GPU 优化
SGLang模型已经在趋动云『社区项目』上线，无需自己创建环境、下载模型，一键即可快速部署，快来体验SGLang带来的精彩体验吧！
Github：https://kkgithub.com/sgl-project/sglang
项目入口：https://open.virtaicloud.com/web/project/detail/548095845019824128
启动开发环境
进入【SGLang】项目主页中，点击运行一下，将项目一键克隆至工作空间，『社区项目』推荐适用的算力规格，可以直接立即运行，省去个人下载数据、模型和计算算力的大量准备时间。
配置完成，点击进入开发环境，根据主页项目介绍进行部署。
使用方法
找到1、使用说明.ipynb和2、调用open-webui界面操作.ipynb分别选中2.1单元格，点击运行，等待生成local URL，分别在右侧添加端口8000和8080，浏览器访问8080外部访问链接，教程图3有服务器的各种参数说明。
教程图1
教程图2
教程图3
项目使用方法：
示例展示：
➫温馨提示： 完成项目后，记得及时关闭开发环境，以免继续产生费用！
智汇全球，趋动未来
『社区项目』汇聚全球智慧，是促进技术交流的宝贵平台，期待每一位AI爱好者体验一键部署功能的强大魅力。
同时，我们也热切盼望每一位码友加入，分享您的精品作品，共筑这个充满活力与创新的技术乐园。
趋动云
连接算力・连接人