Conductor Task Workers

时间:2023-04-24 19:24:44

由远程worker执行的conductor任务通过HTTP端点进行通信以轮询任务并更新执行状态。

conductor提供了轮询任务的框架,管理执行线程并将执行状态更新回服务器。该框架提供了Java和Python中的库。可以通过使用用于任务管理的HTTP端点来添加其他语言支持。

Java

  1. 实现Worker接口来实现任务。https://github.com/Netflix/conductor/blob/dev/client/src/main/java/com/netflix/conductor/client/worker/Worker.java
  2. 使用WorkflowTaskCoordinator注册工作人员并初始化轮询循环。 https://github.com/Netflix/conductor/blob/dev/client/src/main/java/com/netflix/conductor/client/task/WorkflowTaskCoordinator.java

  • 示范worker实施   https://github.com/Netflix/conductor/blob/dev/client/src/test/java/com/netflix/conductor/client/sample/SampleWorker.java
  • 例  https://github.com/Netflix/conductor/blob/dev/client/src/test/java/com/netflix/conductor/client/sample/Main.java

WorkflowTaskCoordinator

管理任务工作线程池和服务器通信(轮询,任务更新和确认)。

worker

属性 描述
paused 布尔值。如果设置为true,则worker停止轮询。
pollCount poll的任务数量。用于批量轮询。每个任务在单独的线程中执行。
longPollTimeout 以毫秒为单位的长时间轮询指定服务器的任务时间

这些属性可以由Worker实现或通过在JVM中设置以下系统属性设置:

conductor.worker.<property> 适用于JVM中的所有worker
conductor.worker.<taskDefName>.<property> 适用于指定的worker。覆盖全局属性。

Python

https://github.com/Netflix/conductor/tree/dev/client/python

按照自述中记录的示例进行操作,或查看kitchensink_workers.py

https://github.com/Netflix/conductor/blob/dev/client/python/kitchensink_workers.py