亚马逊云科技陈晓建:数据是企业在 AIGC 时代成功的关键
4 月 30 日,亚马逊云科技《“无数据 不模型”——生成式 AI 时代的数据基座》媒体沟通会在北京举行。会上,亚马逊云科技大中华区产品部总经理陈晓建围绕企业如何构建数据基座,将生成式 AI 的差异化优势应用到自身业务生产过程中,做了题为《无数据 不模型》的主题分享。店匠科技(Shoplazza)首席科学家谢中流博士、北京灵奥科技(Vanus)CEO 厉启鹏,也分别介绍了生成式 AI 技术在各自公司业务场景中的探索应用。
在生成式 AI 时代,数据是企业脱颖而出的关键——基础模型依赖于大规模高质量数据集,生成式 AI 的差异化优势来源于企业的专有数据,而生成式 AI 应用产生的大量新数据,也需要及时、有效地加以管理和利用。亚马逊云科技持续引领数据基座构建必备的三大核心能力,即模型微调和预训练所需的数据处理能力、利用专有数据与模型快速结合以产生独特价值的能力,以及有效处理新数据以助推生成式 AI 应用持续快速发展的能力,助力企业在生成式 AI 时代取得成功。
陈晓建表示:“企业需要的是懂业务、懂用户的生成式 AI 应用,而打造这样的应用需要从数据做起。亚马逊云科技构建数据基座的三大核心能力,涵盖从基础模型训练、到生成式 AI 应用构建的重要场景,能够帮助企业轻松应对海量多模态数据,提升基础模型能力。作为全球云计算的开创者和引领者,亚马逊云科技正在帮助各个行业、各种规模的企业打造强健的数据基座,在确保用户业务和数据安全的前提下,将数据的独特价值赋予基础模型和生成式 AI 应用,加速企业业务增长。”
优秀的数据处理能力,快速提高模型微调和预训练质量
生成式 AI 基础模型微调和预训练,需要将海量的多样化原始数据转化为高质量的大数据集,这对数据存储、清洗和治理都提出了更严峻的挑战。
在数据存储方面,扩展性和响应速度是关键。Amazon S3对象存储几乎是云上扩展性的代名词,它支持广泛的数据协议,能够轻松应对各种数据类型,还支持智能分层以降低训练成本。专门构建的文件存储服务Amazon FSx for Lustre则能够提供亚毫秒延迟和数百万IOPS的吞吐性能,能够进一步加快模型优化的速度。
在数据清洗方面,企业面临着繁重的数据清洗加工任务,Amazon EMR Serverless 和 Amazon Glue 可以帮助企业轻松完成数据清理、去重、乃至分词的操作,让企业专注于生成式 AI 业务创新。Amazon EMR serverless 采用无服务器架构,帮助企业运行任何规模的分析工作负载,自动扩展功能可在几秒钟内调整资源大小,以满足不断变化的数据量和处理要求。Amazon Glue 是一个简单可扩展的无服务器数据集成服务,可以轻松快速地完成微调或预训练模型的数据准备工作。
在数据治理方面,企业难以在多个账户和区域中查找数据,也缺乏有效的数据治理工具。Amazon DataZone 让企业能够跨组织边界大规模地发现、共享和管理数据,不但能够为多源多模态数据进行有效编目和治理,而且还提供简单易用的统一数据管理平台和工具,从而为用户解锁所有数据的潜能。
数据与模型快速结合,让企业专有数据释放更大价值
生成式 AI 基础模型的局限性之一,在于无法及时拥有企业专有数据,因此通过技术手段加速数据与模型的结合,成为企业数据基座的第二项关键能力。检索增强生成(Retrieval-Augmented Generation,RAG)技术被普遍认为是实现数据与模型结合的主要途径之一,它通过将数据转换为向量并存储到向量数据库中,从而将语义的关联性转化为向量间的数学距离问题,以实现内容的关联性计算。现代应用程序需精准理解用户需求并正确关联产品或内容,这一需求广泛存在于搜索、评论、购物车及产品推荐等交互框架中,这些框架又依赖于功能各异的数据库,这使得数据库成为实施 RAG 技术的理想平台。
亚马逊云科技将向量搜索的支持功能加入到主流的数据服务中,通过将数据和向量存储在一起来提升数据查询性能。这能够让企业轻松利用 RAG 技术将专有数据提供给基础模型,从而释放更大价值。此外,亚马逊云科技还为图数据库 Amazon Neptune 推出了分析数据库引擎,以结合图数据库与大模型的优势,从而能够快速从图形数据中获取洞察,并进行更快的向量搜索。
有效处理生成式 AI 应用的新数据,降低模型频繁调用成本并提升性能
对生成式 AI 应用程序而言,基础模型频繁调用将会导致成本的增加和响应的延迟,因此如何处理生成式 AI 应用程序新生成的数据,提升模型调用效率,成为企业数据基座的第三项关键能力。Amazon Memory DB 内存数据库通过缓存之前问答生成的新数据,实现对类似问题的快速响应和准确回答,同时有效降低基础模型的调用频率。Amazon Memory DB 能够存储数百万个向量,只需要几毫秒的响应时间,能够以 99% 的召回率实现每秒百万次的查询性能。
此外,生成式 AI 应用程序需要快速占领市场。亚马逊云科技通过提供无服务器数据库服务和 Amazon OpenSearch Serverless 用于向量搜索,最大限度为企业减少运维负担和成本,消除性能瓶颈,使企业能够专注于生成式 AI 业务创新。
“每个公司都能访问相同的基础模型,但那些能够利用自己的数据,构建具有真正商业价值的生成式人工智能应用的公司,将会是成功的公司。我们希望每一个企业在生成式 AI 时代借助亚马逊云科技的服务打造坚实的数据基础。这样企业就可以高效、安全地将海量的多模态数据和各种基础模型结合在一起,创建出一系列具有独特的价值的生成式 AI 应用程序,并受到终端用户的欢迎,进而产生更多的数据。这些新数据又会继续提升模型的准确度,创造更好的用户体验,从而实现生生不息的正向生成式 AI 数据飞轮,带动我们企业的业务走向成功。” 陈晓建说道。
【本篇文章属于白鲸出海原创,如需转载:需联系授权方可,未经授权严转载!】
友情提醒:白鲸出海目前仅有微信群与QQ群,并无在Telegram等其他社交软件创建群,请白鲸的广大用户、合作伙伴警惕他人冒充我们,向您索要费用、骗取钱财!