申请试用
登录
新闻中心

商汤推出「方舟多模态新智平台」,首个多模态大模型落地城市服务场景

2024-07-12

「日日新」进化到5.5,商汤AI产品会有哪些具体升级?


生成式AI创新应用自不必说,商汤传统视觉AI中的核心产品也正发生变化。

WAIC 2024期间,基于 “日日新5.5”大模型体系能力,商汤“方舟城市开放平台”进行全新产品架构升级,推出首个“大模型+城市服务”的解决方案及应用实践「SenseFoundry-VL 方舟多模态新智平台」,助力智慧城市服务场景进一步提智提效。


1.jpg


▎智慧城市走向多模态大模型赋能管理


「方舟多模态新智平台」着力解决传统视觉业务所面临的交互方式单一化、泛化场景看不懂、复杂场景误报高、大模型应用难上手等问题。

在传统智慧城市解决方案基础上主要进行三方面升级:

  • “需求即指令”。通过Agent技术,「方舟多模态新智平台」构建了可理解并处理多种业务的AI智能体,实现了需求描述向具象指令的高效转化。这种方式更接近于人类交互,用户可直接自然语言提问输入查询,大模型会理解用户意图并给出相应的答案。

例如,在交通运输场景,交通部门或物流企业可通过构建物流运力分析智能体,提取车辆位置、车流状况、天气等相应信息提取派单信息,最终制定更科学合理的物流车辆运输时空图谱。

  • “对话即检索”。依托大模型视图语义理解能力,可实现图文资源的智能语义化检索和对话式研判。让用户获得“所说即所得”、“所问即所应”的体验。

例如,在剧烈台风后,城市管理者可通过对话即刻检索出树木倒伏、电线杆倾倒等各类危害交通安全的场景,从而进行快速响应处理。

  • “提示即提优”。依托大模型良好的泛化能力,无需海量定制研发投入,只需少量正负样例数据和提示词调整,即可一键生成通用模型和特定模型,部分复杂城市事件的识别准确率高达90%以上,真正实现模型生产和调优的使用易、落地快、成本低。


作为一款“听得懂、会交流、擅优化”的多模态大模型平台,「方舟多模态新智平台」未来有望持续推动智慧城市+大模型的迭代升级,聚焦多模态、高效化、个性化、可解释性和数据驱动决策等方向,并拓展至智能交通、公共服务智能化、应急响应、城市服务与决策支持、区域协同发展等应用场景。


2.png


▎已落地一线,实现城市服务十倍提效


目前,「方舟多模态新智平台」已在城市服务场景中实际落地


以城市便民服务为例,该平台可实现便民窗口服务的智能化分类分拨、智能视频设备调取、智能处置建议、智能系统信息查询等能力。


在某一线城市12345公共服务便民热线场景中,「方舟多模态新智平台」助力12345工单的分类分拨速度提升至原先的10倍以上,并统一了分类标准。在短短一个月内,完成超过30万次的分拨诉求,平均每天处理一万余次。


借助「方舟多模态新智平台」,单个分拨员原本一个月的工作量现在仅需一天即可完成,经二次复核,准确率高达90%以上


这样的智能化分拨应用不仅切实有效,更极大减轻了政务工作压力,显著提升工作效率。


此外,「方舟多模态新智平台」支持自然语言调取10万路以上前端点位,实现分钟级精准检索;升级后的模型架构支持通过简单提示词,即刻创建全新场景分析功能,实现1天内快速部署上线,3天内手动快速调优,部分场景通过二次分析后准确率达90%以上。真正让大模型迅速落地在各类应用场景中,实现所想即所得。


▎差异化优势明显,智慧城市行业新标杆


与常见行业方案相比,商汤「方舟多模态新智平台」差异化优势明显,主要体现在三方面:平台技术布局、硬件选型、业务应用。


首先,是融合架构的技术布局。视觉领域深厚算法积累+「日日新」领先大模型能力,为「方舟多模态新智平台」的全面架构升级奠定扎实基础。


「方舟多模态新智平台」采用的视觉-语言多模态大模型,集图文对比、文本理解生成及交错图文理解三大能力为一体,在国际权威机构的国产化大模型评测中,位列第一梯队;同时视觉模型+大模型融合架构,AI智能体等引入,为城市AI应用创新提供全方位的技术支撑。


其二,是国产适配的硬件选型。「方舟多模态新智平台」充分研讨了国产自主可控的方针政策。目前充分适配了主流的国产芯片和硬件服务器,为大模型国产化落地提供全面的算力保障。


第三,灵活可配的业务应用。城市场景有复杂性高、碎片化强等特点,「方舟多模态新智平台」能根据智慧城市的具体需求,进行高度定制化开发。此外,其创新性配套图文可视化的提示工程设计,也很好地兼顾了方案落地的泛化性及系统应用的低门槛,有效保障AI大模型的落地效果。


3.jpg


伴随全球数字化转型加速,“智慧城市”与“大模型”结合被视为未来城市发展的关键。「方舟多模态新智平台」是商汤在助力城市服务智能化发展中取得的突破性进展,必将作为新质生产力,开启城市智能化发展新篇章。