面向未来的公司：灵活的人工智能架构为何至关重要

今天最先进的方法很快就会成为明天的遗留系统。投资基于人工智能的 SaaS 解决方案的企业面临着一个关键问题：如何确保今天实施的系统不会成为明天的技术债务？

‍

答案不在于选择当下最先进的技术，而在于选择建立在灵活、适应性强的架构上的平台，这种架构能够随着新兴人工智能能力的发展而发展。本文分析了模块化架构在人工智能领域的不同实现方式，重点关注检索-增强生成（RAG），并对不同的架构方法进行了比较。

‍

僵化的人工智能实施所隐藏的风险

许多组织在选择人工智能解决方案时，主要依据的是当前的能力，只关注眼前的功能，而忽视了决定长期适应性的底层架构。这种做法会带来若干重大风险：

技术过时

人工智能创新的步伐不断加快，基本进步出现的时间越来越紧迫。围绕人工智能特定方法构建的僵化系统往往难以融入这些进步，导致与更新的解决方案相比存在能力差距。

修改业务要求

即使技术一成不变（也不会），业务需求也会不断变化。企业经常会发现一些在最初实施时没有预见到的有价值的人工智能用例。不灵活的平台往往难以超越其最初的设计参数。

集成生态系统的演变

随着时间的推移，围绕人工智能解决方案的应用程序、数据源和系统将通过升级、替换和新增而发生变化。僵化的人工智能平台往往会成为集成瓶颈，需要昂贵的变通方法或限制其他技术投资的价值。

监管和合规方面的变化

人工智能治理要求在全球范围内不断演变，新法规不断涌现，对可解释性、公平性评估和文档提出了要求。缺乏架构灵活性的系统往往难以适应这些不断变化的合规要求。

‍

RAG 范式：模块化架构案例研究

检索增强生成（RAG）是模块化架构的一个优秀范例，它正在彻底改变人工智能系统的设计和实施方式。AWS 将其定义为 "优化大型语言模型 (LLM) 输出的过程，该模型在生成响应之前会参考其训练数据源之外的权威知识库"。

AWS RAG 实施

AWS 开发的 RAG 云架构体现了模块化和灵活性原则。正如陈云杰和Henry Jia在AWS公共部门博客中指出的，该架构由四个不同的模块组成：

‍

用户界面模块：通过亚马逊应用程序接口网关与最终用户交互
协调模块：与各种资源互动，确保数据采集、提示和响应生成流程顺畅
嵌入模块：提供各种基础模型的访问权限
矢量存储模块：管理嵌入式数据的存储和矢量搜索的执行

处理流程主要遵循两条路径：

用于上传数据：

由 AWS Lambda 函数对存储在亚马逊 S3 存储桶中的文档进行处理，以进行拆分和分块
文本片段被发送到嵌入模板，转换成矢量
嵌入信息存储在所选向量数据库中并编制索引

为了生成答案：

用户发出提示
提示信息将发送到嵌入模板中
该模型将提示信息转换成向量，以便在存档文件中进行语义搜索
最相关的结果将返回给 LLM
LLM 会根据最相似的结果和初始提示生成回复
生成的回复将发送给用户

AWS RAG 架构的优势

AWS 强调了这种模块化架构的几个主要优势：

模块化和可扩展性："RAG 架构的模块化特性以及基础设施即代码（IaC）的使用，使得根据需要添加或删除 AWS 服务变得非常容易。借助 AWS 托管服务，这种架构有助于自动、高效地管理增加的流量和数据请求，而无需事先调配。"
灵活性和敏捷性："模块化的 RAG 架构可以更快速、更轻松地实施新技术和服务，而无需彻底改变云架构框架。这使我们能够更加灵活地应对不断变化的市场和客户需求。"
适应未来趋势：'模块化架构将协调、生成式人工智能模型和向量存储分离开来。单独来看，这三个模块都是积极研究和不断改进的领域"。

矢量技术：RAG 架构的核心

RAG 架构的一个关键要素是矢量数据库。AWS 指出："由于所有数据（包括文本、音频、图像或视频）都必须转换为嵌入向量，生成模型才能与之交互，因此向量数据库在基于生成式人工智能的解决方案中发挥着至关重要的作用。"

AWS 通过提供多种矢量数据库选项来支持这种灵活性：

传统数据库，如 OpenSearch 和 PostgreSQL，增加了矢量功能
专用开源矢量数据库，如 ChromaDB 和 Milvus
本机 AWS 解决方案，如 Amazon Kendra

在这些选项中做出选择时，"可以根据对一些问题的回答，如新数据添加的频率、每分钟发送的查询次数以及发送的查询是否基本相似"。

‍

模型集成的人工智能架构：神经方法

AWS RAG 架构是作为一个分布式系统在多个云服务中实施的，而其他人工智能系统则采用了一种集成度更高的方法，即在一个统一的神经架构中采用模块化原则。

高级内审助理的案例

先进的人工智能助手，如基于最新 LLM 模型的助手，使用与 RAG 类似的原理，但在架构上有一些显著的不同：

神经集成：功能组件（查询理解、信息检索、响应生成）集成在神经架构中，而不是分布在单独的服务上。
概念模块化：模块化存在于概念和功能层面，但不一定是物理上独立和可替换的组件。
统一优化：在培训和开发阶段对整个处理管道进行优化，而不是由最终用户进行配置。
检索-生成深度整合：检索系统与生成过程深度整合，各组成部分之间进行双向反馈，而不是一个僵化的顺序过程。

尽管在实现上存在这些差异，但这些系统都遵循 RAG 的基本原则：通过创建一个分离（至少在概念上）不同处理阶段的架构，用相关外部信息来丰富语言模型，从而提高准确性并减少幻觉。

‍

灵活 IA 架构的设计原则

无论采用哪种具体方法，都有促进人工智能架构灵活性的通用设计原则：

模块化设计

真正灵活的人工智能平台采用模块化架构，其中的组件可以独立升级或更换，而无需更改整个系统。AWS 和集成人工智能系统方法都遵循这一原则，只是实现方式不同。

模型诊断法

灵活的平台保持了业务逻辑与底层人工智能实现之间的分离，允许随着技术的发展改变底层人工智能组件。这一点在 AWS 架构中尤为明显，因为该架构中的模型可以轻松更换。

应用程序接口优先设计

适应性最强的人工智能系统优先考虑通过全面的应用程序接口（API）来实现编程的可访问性，而不是只关注预定义的用户界面。在 AWS 架构中，每个组件都提供了定义明确的接口，便于集成和更新。

连续配送基础设施

灵活的架构要求基础设施能够在不中断服务的情况下频繁更新。这一原则在 AWS 架构等分布式系统和集成人工智能模型中都能实现，只是机制不同而已。

可扩展性框架

真正灵活的平台可为客户特定的扩展提供框架，而无需供应商的干预。这在分布式系统中最为明显，但嵌入式人工智能模型也能提供各种形式的定制。

适应性与稳定性的平衡

在强调架构灵活性的同时，必须认识到业务系统也需要稳定性和可靠性。要平衡这些看似矛盾的要求，就需要

稳定的接口合同

虽然内部实现可能会经常变化，但通过正式的版本控制和支持政策来严格保证外部接口的稳定性是至关重要的。

逐步改善

新的功能应尽可能通过添加而非替换的方式引入，使组织能够按照自己的节奏采用创新。

受控更新节奏

升级应遵循可预测和可控制的时间表，在持续创新和运行稳定之间取得平衡。

未来融合：迈向混合架构

未来的人工智能架构可能会出现 AWS RAG 所体现的分布式方法与先进人工智能模型的集成方法之间的融合。重要的趋势已经出现：

多模式融合

人工智能正迅速从单一模式处理转向跨模式（文本、图像、音频、视频）无缝工作的统一模式。

专业化模式激增

在通用模型不断进步的同时，针对特定领域和任务的专用模型的开发也在增加，这就需要能够协调和集成不同模型的架构。

连续边缘云

人工智能处理越来越多地分布在从云到边缘的连续统一体中，分布式模式可以更有效地平衡性能、成本和数据要求。

监管协调

随着全球人工智能法规的成熟，我们预计各司法管辖区的要求将更加统一，并可能伴有认证框架。

‍

结论：未来的当务之急

在人工智能这样一个快速发展的领域，平台最重要的特征不是其当前的能力，而是其适应未来进步的能力。主要根据当前能力选择解决方案的组织往往会发现自己限制了未来的可能性。

‍

通过模块化设计、与模型无关的方法、API 优先思维、持续部署基础设施和强大的可扩展性等原则，优先考虑架构的灵活性，企业可以建立起随着技术进步和业务需求而不断发展的人工智能能力。

正如 AWS 所说，"生成式人工智能的发展速度是前所未有的"，只有真正模块化和灵活的架构才能确保今天的投资在未来快速发展的技术环境中继续产生价值。

‍

也许，未来不仅属于那些能够最好地预测未来的人，也属于那些建立起能够适应任何新出现情况的系统的人。