摘要:本文介绍了一款高性能计算资源,深圳云端软件有限公司(Cloudam)的云E算力平台。本文详细描述了如何利用cloudam云计算资源进行常规的计算,包括:(1)注册与创建cloudam账号;(2)文件与目录的管理;(3)集群的创建;(4)登录集群;(5)终止/释放集群;(6)SLURM的使用;(7)资源介绍。
作者:肖高铿
日期:2020-07-12
云E算力平台简介
在药物设计、分子模拟与计算化学领域经常需要用到集群进行高性能计算。比如当你需要对几百万、几千万甚至几十亿化合物库进行结构准备、虚拟筛选(比如分子对接虚拟筛选、药效团虚拟筛选、分子形状虚拟筛选)时,就需要大规模的CPU或GPU计算资源以便在合理的时间内完成计算。分子动力学模拟,量子化学计算以及炼金术法FEP结合自由能计算也需要大规模计算资源。
本文介绍了一款云计算资源:Cloudam的云E算力平台。它可以按需购买,按计算需要实时的添加或释放计算资源,让您随时从自己的笔记本上发起高性能计算。本文重点介绍了如何注册cloudam账户,在上传文件到cloudam云E算力平台、选择合适的计算资源创建管理节点、选择计算节点、用slurm脚本提交计算作业。
注册并登录cloudam
如果您尚未这样做,则需要注册一个云端cloudam帐户。注册后登录到控制台,如图1所示,您将看到一个首页。在首页中选择产品云E算力平台,同意法律条款,平台将赠送200元的云E算力平台代金劵,领取代金券开始创建作业。
Figure 1. 注册并登录cloudam账户
文件与目录管理
注册cloudam账户之后,将创建一个用户名为cloudam的Linux用户,其HOME目录为/home/cloudam。首页左侧的“云E算力平台|我的云文件”可以将你的文件系统以图形的方式呈现出来。“我的云文件”的一个基本功能可以看成是filezilla或WinScp:创建目录、上传与下载文件。图2展示了“我的云文件”,可以浏览HOME目录(/home/cloudam)下的所有文件,并可以管理(上传、下载、创建、删除等)云端的文件与目录了。
Figure 2. 我的云文件
在“我的云文件”目录树里,每个目录的右侧有三个竖点标记,点击该标记可以对该目录进行:删除、创建子目录(新建文件夹)、重命名与下载等操作;同时,在右的对话框里,可以对选中的目录里的文件或子目录进行浏览、下载等各种操作。
现在,你可以将你感兴趣的软件或需要用到的文件上传到你的HOME目录或其他目录。
创建HPC集群
云E算力平台为你提供“虚拟的”计算集群。集群一般由两种节点构成:管理节点与计算节点。管理节点用于安装软件,提交计算任务,回收计算结果;而计算节点仅负责计算,仅再提交作业的时候才创建,如果创建之后5分钟内没有被使用则自动注销。在云E算力平台上,管理节点配置为2核心4GB内存;而计算节点的资源配置按需选用。
如图1所示,在首页左侧,点击“云E算力平台|云桌面”,点击“SSH连接”,弹出“SSH连接”对话框。如果这是你第一次创建管理节点,则如图3所示,点击“启动SSH节点”即创建管理节点(集群)。
Figure 3. 创建管理节点对话框
“云E算力平台|云桌面”,点击“SSH连接”也是管理节点对话框,列出您当前所创建的管理节点(每个管理节点对应一个集群). 如果您之前已经创建过一个管理节点,则如图4所示。
Figure 4. 管理节点列表对话框
从对话框可知,目前已经建立了一个管理节点(集群)。点击右上角的“启动SSH节点”则创建一个新的管理节点(集群)。
登录集群
点击首页“云E算力平台|SSH连接”,弹出类似图4所示的已经创建好管理节点(集群)列表,选择你要使用的管理节点,点击“连接”按钮。Cloudam提供了几种管理节点登录方式(图5),选择自己合适的方式进行连接登录。
Figure 5. 管理节点连接方式
登录管理节点之后,你就可以使用你创建的集群了。在云E算力平台力,你的计算需要通过SLURM进行提交。
使用集群:通过SLURM提交计算作业
cloudam云计算使用slurm作为作业管理系统,你的任何计算作业需要通过slurm脚本提交。具体的脚本编辑方法,可参考见教程:SLURM作业管理系统。一个典型的Slurm作业脚本格式大致如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 | #!/bin/bash #SBATCH -N 1 #SBATCH -J SLURM_DEMO #SBATCH -p c-16-1 #SBATCH -c 16 #SBATCH -o non-error-log.txt #SBATCH -e errors-and-progress-report.txt ####切换目录 cd $SLURM_SUBMIT_DIR ####计算任务命令 obabel -isdf dbase.sdf -omol2 -O dbase.mol2 |
其中第1行必须;第2行告诉SLURM该计算使用一个计算节点;第3行告诉SLURM使用c-16-1分区计算资源进行计算;第4行告诉SLURM作业对外呈现的名称;第5行告诉SLURM使用16个核心进行计算;第6行为输出非错误的日志;第7行输出错误日志;从第8行开始为具体作业相关的命令。将上述复制保存为demo.slurm备用。
Cloudam的云E算力平台采用分区来控制计算资源,在命令行键入命令sinfo可获得分区列表。分区名称c-16-1的第一个字母c表示CPU计算资源资源;16表示每节点16个核心;最后一个数字1表示每核心配1GB的内存,依次类推。
提交作业:
1 | sbatch demo.slurm |
释放集群(节点)
当你不再需要你所创建的集群/管理节点,可以通过释放管理节点来删除所创建集群(管理节点)。释放之后,意味着你当前在进行的计算被强行终止、管理节点被删除。在释放管理之后,对管理节点的计费也将停止。
点击“云E算力平台|SSH连接”(图2),在管理节点列表里(图4)点击需要释放的管理节点的“释放”按钮,此时弹出”释放节点”确认对话框,点击确认,见图6。
Figure 6. 释放管理节点(集群)
云E算力平台预安装的软件资源
为了方便用户使用,云E算力平台预安装了一些公共的软件,如果你有需要请联系管理员协助安装。
- Anaconda3
- RDKit
- OpenBabel 3
- Virtualflow
- AutoDock Vina家族软件
- GROMACS
1 | module add Anaconda3/2020.02 |
最流行的化学信息学工具与开发平台,已经预安装好。
1 2 3 | module add Anaconda3/2020.02
source activate
conda activate rdkit |
OpenBabel是一个强大的化学结构格式转化工具与化学信息学工具,与RDKit安装于同一虚拟环境之下:
1 2 3 | module add Anaconda3/2020.02
source activate
conda activate rdkit |
已经部署了Enamine系列数据库,包括含:1)14.6亿化合物的Enamine Real数据库;2)2200万化合物的Real Diverse Drug like数据库,3)170万化合物的HTS数据库;与4)44万化合物Advanced数据库。准备好蛋白结构即可虚拟筛选。详细的使用方法见:virtualflow相关教程。
包含了Vina系列分子对接软件,包括:qvina02,qvina_w,smina,vina,vina_carb以及vina_xb等等,可以满足多种分子对接计算需求。使用方法见:Cloudam教程 | AutoDock Vina分子对接软件的使用。
开源免费的分子动力学模拟工具,支持GPU,已经预装好。
1 | module add GROMACS/2020-fosscuda-2019b |
云E算力平台计算药物设计案例
- 云计算教程|LigandScout 使用云计算资源加速药效团虚拟筛选
- FLARE算例 | 炼金术法FEP预测FXR激动剂的结合自由能
- 云计算教程 | 在云端用VirtualFlow实现超高通量虚拟筛选
- VirtualFlow教程 | Enamine数据库的更新及其虚拟筛选
- 云计算加速SPARK进行分子生长(基于结构)计算实验
关于Cloudam
深圳云端软件有限公司(Cloudam)是弹性算力与云成本优化的技术领导者,为企业打造一站式的弹性算力云平台及自动化云成本优化服务。致力于帮助客户提升业务运行效率,降低成本,快速响应市场。可广泛应用在生命科学、影视动漫、高科技制造、人工智能、汽车仿真设计等多个领域。
Cloudam成立于瑞典斯德哥尔摩,公司在深圳及斯德哥尔摩两地运营,团队核心成员来自于Oracle、Ericsson、IBM、华为等知名企业,拥有15年以上的世界500强企业技术服务经验和研发背景,已成功为欧洲及中国多家企业提供产品和技术服务。
云E算力平台整合了全球主流公有云近50个地域的高性能计算资源,开箱即用,无需硬件投入、无需运营维护、无需任务排队,预集成近200种专业软件,支持一键式提交作业,具备自主学习与深度学习能力,能够根据用户的实例类型与计算要求智能推荐匹配合适的计算机型,将计算的虚拟损耗降至最低,提升计算效率,降低计算成本。
文献
- 云E算力平台使用手册. https://www.cloudam.cn/help/docs/cloudE9