您好,欢迎访问上海聚搜信息技术有限公司官方网站!
24小时咨询热线:4000-747-360

阿里云代运维:什么是阿里云批量计算,有什么作用?

时间:2020-02-14 13:43:19 点击:

阿里云代运维:什么是阿里云批量计算,有什么作用?

  批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使用量计费。

  通俗的讲,就是您可以提交一个任意的计算机程序,让它在阿里云的多个 VM 实例上同时运行,然后把结果写入到指定的持久化存储位置(如阿里云对象存储 OSS 或者文件存储 NAS),然后您可以去指定的位置查看结果。

  批量计算功能特性

  1. 提交作业

  用户使用工具(如 SDK,命令行工具等)向 BatchCompute 提交作业,BatchCompute 使用用户指定的镜像(如:ubuntu)启动虚拟机(VM), 在虚拟机中运行用户程序, 运行完成后释放虚拟机(VM)。

  BatchCompute 中使用 OSS 作为持久化存储。您可以在程序运行完成时将结果数据保存到 OSS 中。在批量计算中,也可以通过文件接口的方式访问 OSS 上的数据,请参阅 OSS 挂载功能。

  BatchCompute 程序默认运行在 VM 中,也支持 Docker容器。 也就是说,您可以自定义 ECS 镜像或者使用 Docker,在镜像中安装自己需要的任何软件,用来运行您的任何程序。

  作业描述

  用户需要提交一个作业(Job)描述 JSON 文件到批量计算服务,该 JSON 文件中详细描述了需要执行哪些程序(支持多个程序),运行哪些程序需要启动多少台机器,机器的规格(内存和CPU等),运行日志打印到哪里,完成后结果输出到哪里等。

  一个作业(Job)包含多个任务(Task), 按照您指定 DAG 描述的顺序执行。

  每个任务定义了使用哪个镜像,使用什么实例规格,运行哪个程序,需要多少台机器运行,还有结果存储在哪里等。

  2. 管理我的作业

  您可以使用工具(控制台,命令行工具等),查看我提交的作业,可以停止,重启,或删除作业。 查看各个任务的情况,各个实例(VM 实例)的情况和日志。下图是控制台的作业管理界面:

  3. 使用集群

  由于每次运行程序前需要启动虚拟机,会占用一定的时间(一般几分钟左右),遇到忙时有可能申请不到资源(虚拟机被其他客户使用了),您提交作业后可能需要等待一段时间才能运行。

  如果您想要提高运行效率,可以先创建好集群,指定需要的虚拟机数量(比如:5台)和镜像ID,BatchCompute 会为您分配好机器并启动,这些机器会一直处于运行状态,一旦您提交作业上来,就可以直接运行,效率较高。

  4. 自定义镜像

  您提交作业或者创建集群时,可以使用批量计算官方提供的镜像,也可以使用自定义镜像。自定义镜像的好处是,可以自己安装需要的软件。

  阿里云(www.aliyun.com)创立于2009年,是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。2017年1月阿里云成为奥运会全球指定云服务商。2017年8月阿里巴巴财报数据显示,阿里云付费云计算用户超过100万。阿里云致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。阿里云在全球18个地域开放了49个可用区(了解全球基础设施),为全球数十亿用户提供可靠的计算支持。此外,阿里云为全球客户部署200多个飞天数据中心,通过底层统一的飞天操作系统,为客户提供全球独有的混合云体验。

  认识阿里云数据智能

  数据智能是阿里云研发的超级智能,用突破性的技术,解决社会和商业中的棘手问题。目前已具备智能语音交互、图像/视频识别、机器学习、情感分析等技能, 数据智能的核心能力在于多维感知、全局洞察、实时决策、持续进化在复杂局面下快速做出最优决定。针对各行各业,阿里云的科学家对数据智能进行专项训练,研发出了城市大脑、工业大脑、医疗大脑、环境大脑等,在各行各业成为人类的强大助手。

  阿里云飞天系统

  飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。 它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。 从PC互联网到移动互联网到万物互联网,互联网成为世界新的基础设施。飞天希望解决人类计算的规模、效率和安全问题。飞天的革命性在于将云计算的三个方向整合起来:提供足够强大的计算能力,提供通用的计算能力,提供普惠的计算能力。 飞天诞生于2009年2月,目前为全球200多个国家和地区的创新创业企业、政府、机构等提供服务。

  选择云服务器ECS,您可以轻松构建具有以下优势的计算资源:

  无需自建机房,无需采购以及配置硬件设施。

  分钟级交付,快速部署,缩短应用上线周期。

  快速接入部署在全球范围内的数据中心和BGP机房。

  成本透明,按需使用,支持根据业务波动随时扩展和释放资源。

  提供GPU和FPGA等异构计算服务器、弹性裸金属服务器以及通用的x86架构服务器。

  支持通过内网访问其他阿里云服务,形成丰富的行业解决方案,降低公网流量成本。

  提供虚拟防火墙、角色权限控制、内网隔离、防病毒攻击及流量监控等多重安全方案。

  提供性能监控框架和主动运维体系。

  提供行业通用标准API,提高易用性和适用性。

标签

收缩
  • 电话咨询

  • 4000-747-360
微信咨询 获取代理价(更低折扣)
更低报价 更低折扣 代金券申请
咨询热线: 15026612550