淘宝开放平台

登录
文档中心 > 聚石塔

聚石塔

步骤3：运行同步任务

更新时间：2023/06/20 访问次数：8985

数据集成中运行同步任务时，一般有四种情况：

直接运行：指运行在默认的资源组上，而且可以在当前窗口下方直接看到运行日志（日志不保存，消失后不可见）。

调度运行：配置调度任务一般在第二天产生实例节点到设置调度时间就会开始运行任务。

补数据运行：一般是运行失败同步任务，补数据重新运行昨天的同步任务数据。

测试节点运行：测试节点选择当天以前的实例节点运行，同步任务立刻运行并查看日志。

数据集成的同步任务默认运行在数据集成服务所提供的默认调度资源组上，我们也支持使用您自己的机器来运行同步任务（一般发生在默认调度资源的响应性能无法满足业务需要时）。

自定义调度资源组可以运行通过调度运行、补数据运行和测试节点运行而调度起来的同步任务，详情请参见调度资源组管理、VPC环境数据同步配置。


一、直接运行


直接单击运行按钮运行同步任务的具体操作如下：

1. 配置完相应的数据同步任务后直接单击运行按钮，预览保存界面的右上角会弹出开始运行任务，运行的日志信息如下图所示：


image.png


2. 数据集成中的同步任务设置了参数，直接单击运行时会弹出运行任务配置弹框，要对相应的系统变量参数进行设置。

注意：直接单击文本框中时间选择按钮，选择相应的时间，单击确认后预览保存界面的右上角会弹出开始运行任务，运行的日志信息如下图所示：


image.png


二、调度运行


DataWorks提供了强大的调度能力，支持按照时间、依赖关系的任务触发机制，支持每日千万级别的任务按照 DAG 关系准确、准时运行。支持分钟、小时、天、周和月多种调度周期配置。详情请参见调度配置介绍。

配置同步任务使其调度运行的具体操作如下：


1. 同步任务配置调度属性


在数据集成界面下找到需要配置的同步任务，单击提交按钮，即可为任务配置调度属性，如下图所示：


image.png


1）调度类型：勾选当前调度类型。

2）自动重跑：勾选后即开启。

3）生效日期：任务的有效日期，根据自身需求进行设置。

4）调度周期：任务的运行周期（分钟/小时/天/周/月），比如以天为调度周期进行调度。

5）起始时间：任务开始运行的具体时间，比如将任务配置为在每天的凌晨零点开始运行。


2. 为同步任务配置依赖属性


配置完同步任务的调度属性后，继续配置依赖属性，如下图所示：


image.png


依赖属性中可以配置任务的上游依赖，表示即使当前任务的实例已经到达定时时间，也必须等待上游任务的实例运行完毕才会触发运行；如上图所示的配置表明当前任务的实例将在上游任务的实例运行完毕后才会触发执行。

如果没有配置上游任务，则当前任务默认由项目本身触发运行，故在调度系统中，该任务的上游默认为project_start任务。每一个项目中默认会创建一个project_start任务作为根任务。


3. 提交同步任务


配置完调度信息，单击确定，将其提交到调度系统中，如下图所示：


image.png


任务只有提交到调度系统中，才会从第二天开始自动按照调度属性配置的周期在各时间点生成实例，然后定时运行。

特别说明：如果是23:30以后提交的任务，则调度系统从第三天开始才会自动周期生成实例并定时运行。


三、补数据运行


补数据运行的具体操作如下所示：


1. 手动触发补数据运行


若需要确认多个任务的定时情况和相互依赖关系，或者需要从某个根任务开始重新执行数据分析计算，可导航至运维中心>任务管理，选择补数据任务，来补跑某段时间的多个任务。操作如下：


1）在运维中心下的任务管理中，输入任务名称。

2）选中任务查询结果，查看右侧的任务关系图，右键单击任务，选择补数据节点。如下图所示：


image.png


3）设置补数据的业务日期为2017-05-20到2017-05-21，选择insert_data和write_result节点任务，单击运行选中节点。如下图所示：


image.png


image.png


4）单击前往查看补数据结果。


image.png


2. 查看补数据实例的信息及运行日志


在补数据页面下找到任务实例，右键可以查看定时时间／配置属性／代码等，也可以查看运行日志，如下图所示：


image.png


说明：

1）补数据运行是手动触发方式，但生成的实例会与周期自动运行的实例存在上游依赖关系；若该任务有上游任务没有运行成功，定时时间到了不会触发运行。故补数据时建议从上游开始触发，或者当任务为“未运行”状态时，检查周期运行的下游任务是否已经运行成功不会单独运行。

2）根据前文所述的实例生成规则，配置为每周二凌晨２点运行的任务 write_result，补数据运行时选择的业务日期是周一(业务日期=运行日期-1), 则实例会在２点真正运行；如果不是周一，则实例在２点转换为成功状态并且没有日志生成。


四、周期自动运行


周期自动运行，由系统根据所有任务的调度配置自动触发，故页面没有操作入口。查看实例信息和运行日志有以下两种方式：

1）单击运维中心>任务运维中的运维，选择业务日期或运行日期等参数，搜索 write_result 任务对应的实例，然后右键查看实例信息和运行日志。如下图所示：


image.png


2）选择任务，右键单击查看节点运行日志。如下图所示：


image.png


image.png


说明：若任务的实例初始状态为未运行，当定时时间到达时，调度系统会检查这个实例的全部上游实例是否运行成功，只有上游实例全部运行成功并且定时时间到达的实例，才会被触发运行。故未运行状态的实例，请确认上游实例已经全部成功且已到定时时间。


五、测试节点运行


若需要确认多个任务的定时情况和相互依赖关系，或者需要从某个根任务开始重新执行数据分析计算，可导航至运维中心>任务管理，选择测试节点，来补跑某段时间的多个任务。操作如下：

1）在运维中心下的任务管理中，输入任务名称。

2）选中任务查询结果，查看右侧的任务关系图，右键单击任务，选择测试节点节点。如下图所示：


image.png


由于调度任务都是12点产生实例节点，故今天还没有产生实例节点只能运行昨天的实例节点，只能显示昨天的时间，如下图所示：


image.png


运行成功后右击即可查看节点运行日志。

FAQ

关于此文档暂时还没有FAQ
有用(0) 我要提问
返回
顶部