上海电信开“算力超市” 大模型训推按时付费
新浪人工智能
作者/ IT时报记者 郝俊慧
编辑/ 钱立富 孙妍
大模型应用元年,AI正逐渐浸润至千行百业,能否灵活便捷获取算力资源,成为不少企业进入AI时代的第一道门槛。
11月11日,上海电信正式推出公共算力服务门户——算力超市(https://gpushop.sh.189.cn),汇聚各类算力服务,支持算力在线磋商、算力交易,以公共普惠的算力供给,算、存、运一体的综合算力服务模式,促进算力资源有效流通,赋能上海市人工智能产业生态。
同日,上海电信在算力超市中推出“一户一卡”免费体验计划,12月31日前,企业用户可申请两周内免费体验100卡时智能算力,针对个人版的体验计划也正在酝酿中。
让算力真正随需取用
让算力像水电一样,作为公共服务随需取用,是一直以来各家云/算力服务商致力达到的目标,但在当前阶段,无论技术还是模式,都有巨大的障碍需要跨越。
“算力使用的逻辑和水电使用逻辑正好相反,水是从中心到每个家庭,属于分布式输出,而算力其实是上传算力任务到云端,并不能真正像自来水那样,一拧就来。”上海电信一位算力专家告诉《IT时报》记者,近两年来,随着各方加速建设,算力资源已日益丰富,但用户仍面临着算力分散、驱动不兼容、专业软件难以寻找、复杂配置导致项目进度受阻等一系列痛点,有AI计算任务却很难找到合适的算力。
以很多行业正在研发的行业垂直模型为例,如果在普通公有云上运行,由于数值计算需要调优模式,需多次调整才能把模型运转起来。
此外,对中小型创意公司而言,已有的PC端算力不足以支撑生产太多的AIGC内容,而配置一套算力服务器成本又太高,通过云的方式获取算力,是最便捷和成本集约的方式。
据了解,上海电信推出的算力超市以息壤-异构算力一体化调度平台的底座,推出“1+3”公共算力服务产品,包括“1”个基于自研创新技术打造的交易撮合“算力超市”门户和“3”个提供普惠能级算力服务的智算产品。
这些智算单卡/多卡产品支持一键部署开发环境,用户可以通过简单的操作完成开发环境的搭建,无须手动安装操作系统、驱动程序或是配置软件环境,同时内置多种主流框架,极大地简化了前期准备工作。
由于一些必要设置都已由平台预先完成,用户只需关注自己的业务逻辑和算法实现,不必担心底层的技术细节;只需集中精力在分析结果和解决问题上,不仅为企业节约了专业AI人才储备,也大大降低了AI的应用门槛。
免费体验100卡时
目前,算力超市可以提供各类算力资源,无论是需要单张GPU卡进行轻量级任务处理,还是需要多张GPU卡构建强大的计算集群,智算单卡/多卡产品都能满足不同规模项目的需求。
记者看到,智算产品共分为三个版本:普通版、黄金版和钻石版,其中普通版着重性价比,适合用户做开发调测,单卡算力10+TFlops;黄金版的单卡算力可达30+TFlops;钻石版则在开发调测之上,增加了训练推理能力,单卡算力70+TFlops。
上述算力专家告诉记者,算力超市支持多种主流显卡资源,可以基于容器实例为客户的开发调测、推理、训练、微调任务提供灵活便捷的智算服务。比如一些科研机构或者创意公司可以直接购买卡时做一些推理调测,或者也可以将一些已经调优好的大模型做成镜像,在单卡上跑测,随需购买,按时付费。
此外,算力超市还提供多卡智算产品,用户可以根据自己的训推需求购买足够量的算力卡。或者针对深度学习、科学计算、图像渲染等高性能场景,直接购买 GPU 算力物理机。
为了让更多企业用户了解算力超市,即日起,上海电信推出智算单卡/多卡产品“一户一卡”免费体验计划,体验资源涵盖单卡容器、对象存储100G、共享带宽。活动从11月11日正式开始,持续至2024年12月31日,限量100家客户,客户可通过算力超市或拨打10009上海电信政企客户服务热线,免费申请100卡时的专属体验时长(即单卡使用100小时),每位客户的体验有效期为自领取日起2周。
未来:算力交易门户
据了解,算力超市的底座是中国电信息壤—异构算力一体化调度平台,平台支持纳管各个运营商数据中心的智能算力,包括国产加速芯片、英伟达等,并且基于智能作业调度引擎,可以实现作业分发、算网资源拓扑、算力感知等功能,支撑多种不同的人工智能技术框架、大模型和应用软件,而且联合众多第三方算力厂商,以多云、多MSP模式共建算力生态。
正如前文所述,目前上线的算力超市一期功能集中于订购各类算力算网产品,内置AI开发一站式入口,便于用户购买指定产品后可随时随地进行开发调测、训练、推理。
今后,算力超市还将逐渐发展算力交易磋商业务,成为同时面向算力供应商、中小企业和公众用户算力需求市场的算力交易门户。
基于息壤—异构算力一体化调度平台,算力超市将不仅连接上海电信在青浦和临港“东西两翼”智算中心的澎湃算力资源,也支持广大算力供应商入驻,在与其他算力服务平台深度对接后,可实现多方产品信息、库存信息共享,深度参与产业生态构建,共拓商机,共享技术服务能力,有效提高市场算力资源利用率。
目前,这样的模式已经在摸索。算力超市为上海某区定制化开发专属区级算力超市,提供算力资源服务上架、区属算力优惠政策发布、交易结算等功能,设有多级账号体系、计量计费等能力,可充分满足区域算力运营管理需要,企业可通过该专区完成裸金属、GPU云主机等算力服务的优惠订购。
排版/ 季嘉颖
图片/ 上海电信
来源/《IT时报》公众号vittimes