丹摩智算(damodel)部署stable diffusion心得
在Windows或者其他系统上,部署stable diffusion并不是一件很难的事情,如果自己的电脑带有合适的显卡,有足够的显存,用自己的电脑即可部署stable diffusion大模型,生成自己的图片,但如果是在云服务器上,如果想要来做这件事情,就需要服务器带有足够用的显卡,在寻找相应的服务器产品的时候,发现了丹摩智算(damodel) 这个平台。
丹摩智算可以直接使用其显卡来部署大模型,之前我的stable diffusion-webui是放在台式机上的,由于显卡不是rtx系列的,所以只能使用有限的cpu资源来做推理,一直想要尝试部署gpu版本的stable diffusion,当发现丹摩智算的时候,终于可以试一下了。
但是做的过程中,发生了不少曲折的事情。
本想着有现成的安装包,直接安装就能达到效果,结果还是太大意了,几乎每一步遇到一个坎坷。
第一个遇到的坎坷是网络原因。因为github网络环境的原因,直接git clone github地址下载非常不稳定,而且非常慢,折腾了挺长的时间之后,决定放弃GitHub上下载。于是寻求gitee上的可用的版本。gitee上首先找到了一个库,下载了最近的tag,执行之后报错,提示跟python的版本不一致。原来是gitee上的这个库是很久之前的了,支持的也是就的python版本,跟我更新的python3不一致, 无奈之下就重新找了一个库,看到库的时间比较新,找到最近的tag版本,重新安装才算正常。总结下来就是:1.要用国内的源码库,不要用国外的,网络不稳定,即便有,也可能网速非常慢,一旦文件很大且不支持断点续传,就会造成额外的开销 2.国内的源码库,一定要注意其更新时间和tag或代码分支的时间,不要用太久的版本,否则可能会和操作系统或着其他环境版本不一致,导致失败重做
第二个遇到的问题是大文件下载上传很慢,资源不好找。网上很多的资源,用的时候会发现已经不能访问了,无奈,只能自己寻找新的源地址,甚至有的需要别人从源码自行编译的,离线下载后安装使用,甚至找不到的,需要自己找到源码库下载。这个问题主要体现在两个地方,一个是python库,有的2G多,一个是模型文件,一个可能四五个G。刚开始搞的时候很崩溃,因为找不到好的上传下载的地址,下载几百k,上传100k左右,一个文件安装下来,直接浪费了一天时间,甚至有时候因为网络不稳定,还导致了几次下载失败后,重新下载,上传失败后重新上传,真的很崩溃。
后面实在是没招了,告知工作人员这个问题,还好,工作人员处理速度很快,群里小伙伴也一起分享经验,最后通过wget+一个国内的库地址,解决了快速下载模型这个问题。工作人员相应也很快,直接安装组件的时候,一些以来组件的下载,直接从python上自动下载,速度能够达到20M,非常爽,一会就搞定了,这体验非常好,也大大提高了部署的速度
这个问题的总结就是:1.大文件一定要找到下载速度快的源地址,无论是模型文件,还是python库文件,事半功倍 2.python自动下载可以基于服务器上的自动下载,速度非常快,20M速度,比很多自己找的网站速度都要快
第三个问题是,部署结束之后,外网访问的时候,发生了一些状况。本来觉着直接通过设置 访问控制添加端口的方式就能完成访问。但实际上,部署后curl是可以看到网页了,但外网是bad gateway,没有办法只能求助工作人员,还好工作人员响应速度很快,告知了两个方法,尝试了第二个方法的时候,就找到解决思路了,平时我们使用的是127.0.0.1 往外映射,但这个平台使用的是0.0.0.0 往外映射的,所以把启动收的默认ip127.0.0.1 改为0.0.0.0,才最终解决问题
这个问题的总结是:遇到问题,如果是通用性问题可以自行解决,如果是平台相关的问题,一定要找工作人员来帮助解决问题,只有对症下药,才能药到病除。
以上就是我对丹摩智算 这个平台的使用心得,除了一些小的感想之外,这三个大问题是感触颇深的,哪怕已经完成部署,仍然值得记录下来,也许简单的一点小笔记,能让你避免走一些弯路,少踩一点坑,那这篇文章也算是没有白写了。