TaskMatrix.AI的整体架构及其四个主要组成部分：

    •多模态对话基础模型(MCFM)：它负责与用户通信，理解他们的目标和(多模态)上下文，并基于API生成可执行代码以完成特定任务。

    •API平台：提供一个统一的API文档模式来存储具有不同功能的数百万个API，并允许API开发人员或所有者注册、更新和删除他们的API。

    •API选择器：根据MCFM对用户命令的理解推荐相关的API。

    •API执行器：通过调用相关API执行生成的操作代码，并返回中间和终执行结果。

    这4个子系统共同工作，使TaskMatrix.AI能够理解用户目标，并为特定任务执行基于API的可执行代码。多模态会话基础模型(MCFM)作为用户交流的主要接口，可以理解多模态上下文。API平台提供了一个统一的API文档模式和一个存储数百万API的地方。API选择器使用MCFM对用户目标的理解来推荐相关的API。后，API执行器执行由相关API生成的操作代码并返回结果。此外，该团队还利用人工反馈(RLHF)技术的强化学习来训练一种奖励模型，该模型可以优化任务矩阵(taskMatrix)。该方法可以帮助MCFM和API选择器找到优策略，提高复杂任务的性能。