替代文本
决策： 根据端到端评估的结果，利益相关者可以就代码是否已准备好部署做出明智的决定。决策可能包括批准部署或请求进一步修复和重新评估。如果运行了评估管道，则报告将列在管道运行摘要中，数据科学团队可以使用这些报告进行分析。
替代文本
优点
清晰的触发机制：使用带标签的 PR 为启动端到端评估流程提供了清晰、明确的触发器。这减少了歧义并确保不会错过重要步骤。
自动化潜力：通过将标签检测集成到您的 CI/CD 管道中，您可以自动化部分流程，从而加快整体评估和决策周期。
重点测试：标签有助于将测试工作重点放在已标记为需要端到端评估的 PR 上。这可以避免对不需要的更改进行不必要的测试，从而优化资源利用率。
可见性和可问责性： 6 小时端到端评估流程由配置驱动，允许根据拉取请求标签跳过该流程。 “选择退出”标志要求 PR 创建者明确决定跳过评估。 为防止滥用，带有检查表的 PR 模板可确保在跳过评估时通知数据科学团队或其他利益相关者。 标签可让所有团队成员了解 PR 的状态和测试要求，通过明确指示哪些 PR 已经过全面测试，有助于跟踪和问责。
可扩展性：随着项目的发展，使用标签可以很好地应对 PR 数量和变更复杂性的增加。它保持了一种结构化的方法来管理测试需求。
限制
沟通与适应：团队成员需要了解标签及其重要性并接受培训，并需要持续采用以确保遵守。虽然标签可以提高可见性，但它们也需要团队成员之间就其使用情况进行清晰一致的沟通。误解或缺乏清晰度可能会导致实施无效。
误用或人为错误的风险：使用标签选择退出评估过程的能力可能会被误用或容易出现人为错误，无论是有意还是无意，都会导致跳过评估，从而损害项目的稳定性和可靠性。
维护开销：虽然标签可以帮助集中测试工作，但管理 IT 主管经理电子邮件列表 这些标签和触发评估所涉及的自动化和流程可能会产生代码和资源维护开销，尤其是在有多个标签时。
注意事项
一致性：确保整个团队应用标签的一致性，以避免错过评估。
集成：如果您选择自动化该流程，请验证您的 CI/CD 工具和流程是否支持标签检测和自动化。
反馈循环：建立反馈循环，以便开发人员及时收到端到端评估结果的更新，从而快速解决发现的任何问题。
持续评估 (CE) 运行需要与项目要求保持一致。评估项目的具体要求以确定是否需要持续评估。高频率更新或重大更改可能需要持续运行。
持续评估计划的类型
持续性：适用于频繁提交且协作程度高的项目。确保即时反馈，但可能耗费大量资源。
按需：最适合更新频率不高的项目或需要手动触发作业的项目。提供灵活性，但可能会延迟反馈。
基于计时器：非常适合需要定期更新或具有可预测工作流程的项目。可以按特定间隔安排（例如，每晚构建）以平衡反馈和资源使用。
影响持续评估频率的因素
代码库活动：高活动存储库受益于持续或频繁的 CE 运行，以便尽早发现问题。
资源可用性：考虑 CI/CD 基础设施和资源的可用性。连续运行可能需要更多的计算资源。
测试要求：广泛或耗时的测试可能会影响减少频率或按需运行的决定，以优化资源使用。
部署周期：将 CE 频率与部署计划保持一致，以确保及时集成和交付。
结论
使用 Azure 机器学习在受限的 BYO 网络中实施 LLMOps 面临着多项挑战，包括在受限网络中配置服务、管理长端到端 (E2E) 评估运行以及优化持续集成、评估和部署管道。
我们的策略包括使用 Git Flow 进行有效的开发和部署、实施 CI 检查代码质量、使用 CE 进行彻底的模型评估以及使用 CD 部署经过验证的更改。我们引入了冗长的 E2E 评估的退出机制，以提高资源效率并减少瓶颈。
通过采用结构化分支和战略性 CE 运行的系统化方法，我们管理了数据科学家、工程师和平台团队之间复杂的依赖关系和协作。这确保了可控且可靠的部署，同时保持了高标准的代码质量和模型性能。