ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

airflow-dag-patterns - SKILL

airflow-dag-patterns - SKILL

name: airflow-dag-patterns
description: “Build production Apache Airflow DAGs with best practices for operators, sensors, testing, and deployment. Use when creating data pipelines, orchestrating workflows, or scheduling batch jobs.”
risk: safe
source: community
date_added: “2026-02-27”

Apache Airflow DAG 模式

适用于 Apache Airflow 的生产就绪模式,包括 DAG 设计、操作符、传感器、测试和部署策略。

使用此技能时

  • 使用 Airflow 创建数据管道编排
  • 设计DAG结构和依赖关系
  • 实现自定义操作符和传感器
  • 本地测试 Airflow DAG
  • 在生产环境中设置 Airflow
  • 调试失败的 DAG 运行

使用此技能时请勿

  • 你只需要一个简单的定时任务或 shell 脚本
  • Airflow 不是工具栈的一部分
  • 该任务与工作流编排无关

说明

  1. 识别数据来源、时间表和依赖关系。
  2. 设计具有明确所有权和重试机制的幂等任务。
  3. 实现具有可观测性和告警钩子的DAG。
  4. 在预发布环境中进行验证并记录操作手册。

有关详细的模式、清单和模板,请参阅resources/implementation-playbook.md。

安全

  • 未经批准,避免更改生产DAG计划。
  • 仔细测试回填和重试以防止数据重复。

资源

  • resources/implementation-playbook.md,查看详细的模式、清单和模板。

限制

  • 仅当任务明确符合上述描述的范围时,才使用此技能。
  • 不要将输出视为环境特定验证、测试或专家审查的替代品。
  • 如果缺少所需的输入、权限、安全界限或成功标准,请停下来并要求澄清。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进