使用Aspera高速上传文件到ncbi
同事反馈ftp上传ncbi非常慢,远程测试下2个进程上行共在600KB-1MB/S,设置多个线程情况下上行稳定在30Mbps/s左右。
有更快的上传方式就是使用Aspera工具,于是注册了个帐号,建个sra上传任务,测试了下发现需要下载ssh key。一时找不到在哪下载,给sra@ncbi.nlm.nih.gov发了份邮件咨询怎么下载。下面是回复内容。
The ssh key is now available for download from submission portal. Click the "key file" link on this page:
https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd
There are more upload instructions here: http://www.ncbi.nlm.nih.gov/sra/docs/submitfiles .
The SRA Team
National Center for Biotechnology Information | National Library of Medicine
National Institutes of Health, Bethesda, Maryland 20892
打开链接https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd
展开“Upload via Aspera command line or FTP”
看到这个keyfile点击下载,还有下页会自动生成一个专用目录
下面是我测试上传的命令
"C:\Program Files (x86)\Aspera\Aspera Connect\bin\ascp.exe" -i "d:\aspera.openssh" -QT -l400m -k1 -d "d:\bioproject.xml" subasp@upload.ncbi.nlm.nih.gov:uploads/邮箱前缀_邮箱域名_生成的随机码
3163MB的文件9分钟多上传完。
跟ftp对比起来,Aspera相当于高铁,ftp就是绿皮火车,而且还是免费的。