面向未来的公司：灵活的人工智能架构为何至关重要

今天的前沿方案很快就可能变成明天的遗留系统。投资基于人工智能的 SaaS 解决方案的企业,面临一个关键问题:我们如何确保今天部署的系统不会成为明天的技术债务?

答案不在于选择当下最先进的技术，而在于选择建立在灵活、适应性强的架构上的平台，这种架构能够随着新兴人工智能能力的发展而发展。本文分析了模块化架构在人工智能领域的不同实现方式，重点关注检索-增强生成（RAG），并对不同的架构方法进行了比较。

僵化的人工智能实施所隐藏的风险

许多组织在选择人工智能解决方案时，主要依据的是当前的能力，只关注眼前的功能，而忽视了决定长期适应性的底层架构。这种做法会带来若干重大风险：

技术过时

人工智能创新的步伐不断加快，基本进步出现的时间越来越紧迫。围绕人工智能特定方法构建的僵化系统往往难以融入这些进步，导致与更新的解决方案相比存在能力差距。

修改业务要求

即使技术一成不变（也不会），业务需求也会不断变化。企业经常会发现一些在最初实施时没有预见到的有价值的人工智能用例。不灵活的平台往往难以超越其最初的设计参数。

集成生态系统的演变

随着时间的推移，围绕人工智能解决方案的应用程序、数据源和系统将通过升级、替换和新增而发生变化。僵化的人工智能平台往往会成为集成瓶颈，需要昂贵的变通方法或限制其他技术投资的价值。

监管和合规方面的变化

人工智能治理要求在全球范围内不断演变，新法规不断涌现，对可解释性、公平性评估和文档提出了要求。缺乏架构灵活性的系统往往难以适应这些不断变化的合规要求。

RAG 范式：模块化架构案例研究

检索增强生成（RAG）是模块化架构的一个优秀范例，它正在彻底改变人工智能系统的设计和实施方式。AWS 将其定义为 "优化大型语言模型 (LLM) 输出的过程，该模型在生成响应之前会参考其训练数据源之外的权威知识库"。

AWS RAG 实施

AWS 开发了一种云端 RAG 架构,充分体现了模块化和灵活性的原则。正如 Yunjie Chen 和 Henry Jia 在 AWS Public Sector 博客中所指出的,该架构包含四个独立的模块:

1. 用户界面模块:通过 Amazon API Gateway 与终端用户交互
2. 编排模块:与各类资源交互,确保数据获取、提示词处理和响应生成顺畅进行
3. 嵌入模块:提供对各种基础模型的访问
4. 向量存储模块:管理嵌入数据的存储和向量搜索的执行

处理流程主要遵循两条路径：

数据上传方面:

1. 存储在 Amazon S3 存储桶中的文档由 AWS Lambda 函数处理,进行分割和分块
2. 文本片段被发送至嵌入模型,转换为向量
3. 嵌入结果被存储并索引到所选的向量数据库中

响应生成方面:

1. 用户发送提示词
2. 提示词被传递给嵌入模型
3. 该模型将提示词转换为向量,用于在存储的文档中进行语义搜索
4. 最相关的结果被返回给 LLM
5. LLM 结合最相似的结果和初始提示词生成响应
6. 生成的响应被传递给用户

AWS RAG 架构的优势

AWS 强调了这种模块化架构的几个主要优势：

• 模块化与可扩展性:“RAG 架构的模块化特性以及基础设施即代码(IaC)的使用,便于根据需要添加或移除 AWS 服务。借助 AWS 托管服务,该架构有助于自动、高效地应对流量和数据请求的增长,无需事先进行资源配置。”
• 灵活性与敏捷性:“模块化的 RAG 架构使得实施新技术和新服务更加快速便捷,无需彻底改造云架构的整体框架。这使企业能够更加敏捷地应对市场和客户需求的变化。”
• 适应未来趋势:“模块化架构将编排、生成式 AI 模型和向量存储分离开来。这三个模块各自都是活跃的研究领域,处于持续改进之中。”

矢量技术：RAG 架构的核心

RAG 架构的一个关键要素是矢量数据库。AWS 指出："由于所有数据（包括文本、音频、图像或视频）都必须转换为嵌入向量，生成模型才能与之交互，因此向量数据库在基于生成式人工智能的解决方案中发挥着至关重要的作用。"

AWS 通过提供多种矢量数据库选项来支持这种灵活性：

• 传统数据库,如 OpenSearch 和 PostgreSQL,加入了向量功能
• 专用的开源向量数据库,如 ChromaDB 和 Milvus
• AWS 原生解决方案,如 Amazon Kendra

在这些选项中做出选择时，"可以根据对一些问题的回答，如新数据添加的频率、每分钟发送的查询次数以及发送的查询是否基本相似"。

模型集成的人工智能架构：神经方法

AWS RAG 架构是作为一个分布式系统在多个云服务中实施的，而其他人工智能系统则采用了一种集成度更高的方法，即在一个统一的神经架构中采用模块化原则。

高级内审助理的案例

先进的人工智能助手，如基于最新 LLM 模型的助手，使用与 RAG 类似的原理，但在架构上有一些显著的不同：

1. 神经集成:功能组件(查询理解、信息检索、响应生成)集成在神经架构内部,而不是分散在独立的服务中。
2. 概念性模块化:模块化存在于概念和功能层面,但不一定表现为物理上分离、可替换的组件。
3. 统一优化:整个处理流程在训练和开发阶段进行优化,而不是由终端用户配置。
4. 检索-生成深度集成:检索系统更深入地融入生成过程,各组件之间存在双向反馈,而不是一个僵化的顺序流程。

尽管在实现上存在这些差异，但这些系统都遵循 RAG 的基本原则：通过创建一个分离（至少在概念上）不同处理阶段的架构，用相关外部信息来丰富语言模型，从而提高准确性并减少幻觉。

灵活 IA 架构的设计原则

无论采用哪种具体方法，都有促进人工智能架构灵活性的通用设计原则：

模块化设计

真正灵活的人工智能平台采用模块化架构，其中的组件可以独立升级或更换，而无需更改整个系统。AWS 和集成人工智能系统方法都遵循这一原则，只是实现方式不同。

模型诊断法

灵活的平台保持了业务逻辑与底层人工智能实现之间的分离，允许随着技术的发展改变底层人工智能组件。这一点在 AWS 架构中尤为明显，因为该架构中的模型可以轻松更换。

应用程序接口优先设计

适应性最强的人工智能系统优先考虑通过全面的应用程序接口（API）来实现编程的可访问性，而不是只关注预定义的用户界面。在 AWS 架构中，每个组件都提供了定义明确的接口，便于集成和更新。

连续配送基础设施

灵活的架构要求基础设施能够在不中断服务的情况下频繁更新。这一原则在 AWS 架构等分布式系统和集成人工智能模型中都能实现，只是机制不同而已。

可扩展性框架

真正灵活的平台可为客户特定的扩展提供框架，而无需供应商的干预。这在分布式系统中最为明显，但嵌入式人工智能模型也能提供各种形式的定制。

适应性与稳定性的平衡

在强调架构灵活性的同时，必须认识到业务系统也需要稳定性和可靠性。要平衡这些看似矛盾的要求，就需要

稳定的接口合同

虽然内部实现可能会经常变化，但通过正式的版本控制和支持政策来严格保证外部接口的稳定性是至关重要的。

逐步改善

新的功能应尽可能通过添加而非替换的方式引入，使组织能够按照自己的节奏采用创新。

受控更新节奏

升级应遵循可预测和可控制的时间表，在持续创新和运行稳定之间取得平衡。

未来融合：迈向混合架构

未来的人工智能架构可能会出现 AWS RAG 所体现的分布式方法与先进人工智能模型的集成方法之间的融合。重要的趋势已经出现：

多模式融合

人工智能正迅速从单一模式处理转向跨模式（文本、图像、音频、视频）无缝工作的统一模式。

专业化模式激增

在通用模型不断进步的同时，针对特定领域和任务的专用模型的开发也在增加，这就需要能够协调和集成不同模型的架构。

连续边缘云

人工智能处理越来越多地分布在从云到边缘的连续统一体中，分布式模式可以更有效地平衡性能、成本和数据要求。

监管协调

随着全球人工智能法规的成熟，我们预计各司法管辖区的要求将更加统一，并可能伴有认证框架。

结论：未来的当务之急

在人工智能这样一个快速发展的领域，平台最重要的特征不是其当前的能力，而是其适应未来进步的能力。主要根据当前能力选择解决方案的组织往往会发现自己限制了未来的可能性。

通过模块化设计、与模型无关的方法、API 优先思维、持续部署基础设施和强大的可扩展性等原则，优先考虑架构的灵活性，企业可以建立起随着技术进步和业务需求而不断发展的人工智能能力。

正如 AWS 所说，"生成式人工智能的发展速度是前所未有的"，只有真正模块化和灵活的架构才能确保今天的投资在未来快速发展的技术环境中继续产生价值。

也许，未来不仅属于那些能够最好地预测未来的人，也属于那些建立起能够适应任何新出现情况的系统的人。