Workflow

Il Workflow è il componente che permette di realizzare la propria pipeline di Data Science & Machine Learning.

Gestione dei Workflow

Per accedere alla schermata di gestione dei Workflow utilizzare il menù laterale:

Visualizzazione dei Workflow

Dalla pagina di gestione dei Workflow è possibile visualizzare i Workflow pubblici, del team di appartenenza ed i propri privati.

Qui, per ciascuno di essi, sono disponibili le seguenti funzioni:

Funzione	Pulsante
Eseguire
Creare Template
Modificare
Eliminare

Cliccando sulla card stessa si accederà invece al pannello dettaglio Workflow.

Dove, in alto a destra, saranno disponibili funzioni aggiuntive:

quali:

Funzione	Pulsante
Visualizzazione contenuti multimediali generati dai Service del Workflow
Selezione versione Workflow
Aggiunta del Workflow ad un Project
Esportazione del Workflow

All'interno della stessa pagina, in basso, sono inoltre disponibili le seguenti sezioni a scomparsa:

• Workflow: per interagire con i componenti del Workflow

• Datasets: per visualizzare l'elenco dei dataset in input e in output assieme ad una loro anteprima ()

  

• Models: per visualizzare l'elenco dei modelli in input e in output, e scaricarli ()

  

• Schedules: per impostare e visualizzare le pianificazioni di esecuzione del Workflow

  

Le seguenti sezioni descrivono più nel dettaglio le suddette funzionalità

Workflow Media (Contenuti Multimediali)

Al click su si aprirà la schermata di visualizzazione dei contenuti multimediali creati dai Service componenti il Workflow (vedi anche Service - Workflow Media):

Da qui sarà possibile:

1. Visualizzare i contenuti multimediali generati da ciascun Service
2. Selezionare l'esecuzione specifica per la quale visualizzare i contenuti

Selezione Versione

In lavorazione ...

Aggiunta ad un Project

Al click su si aprirà il dialog che consentirà di aggiungere il Workflow ad un Project.

I Project disponibili sono quelli precedentemente creati dall'apposita sezione (vedi Asset -> Projects)

Esportazione

Al click su sarà possibile esportare il Workflow in diversi formati:

• Standalone
• Manifest

Selezionando la modalità Standalone potrai scaricare uno stack Docker Compose implementante il Workflow e pensato per l'esecuzione di questi in locale o su sistemi diversi dal Sistema Data Analytics.

Selezionando invece la modalità Manifest potrai scaricare l'equivalente versione Kubernetes in formato manifest JSON.

Schedulazione

Dalla sezione Schedules sarà possibile pianificare l'esecuzione del Workflow attraverso espressioni Cron.

Creazione Workflow

• Per le istruzioni di creazione del Workflow rimandiamo al paragrafo Crea Workflow della sezione Quickstart.

• Per le funzionalità disponibili sul Workflow Designer rimandiamo alla sezione Designer

In questa sezione illustremo alcune funzioni aggiuntive utili nelle fasi di creazione e modifica di un Workflow.

Per gli esempi prenderemo a riferimento il Workflow creato durante il Quickstart.

Impostazioni Preliminari

Subito dopo aver cliccato sul pulsante Create Workflow, si aprirà il seguente form per le impostazioni preliminari:

avente i seguenti campi:

• Access Level
• Default Data Source

Access Level determina il livello di visibilità dell'asset Workflow (come visto in Concetti Base)

Default Data Source permette di selezionare la Datasource predefinita a cui tutti i Service del Workflow punteranno per il salvataggio dei risultati. Tale configurazione di default potrà poi essere cambiata per singolo Service dall'interno del Workflow Designer (vedi sezione seguente Impostazioni Porte I/O)

Informazioni Generali

• Il Workflow Designer consentirà di collegare tra loro solo porte compatibili

Impostazioni Porte I/O

Cliccando su una delle porte dei blocchi sul canvas, si aprirà sul pannello Dettagli Elementi un form di configurazione, il cui contenuto dipenderà non solo al tipo di porta ma anche di blocco (service, dataset, ...)

Per esempio cliccando sulla porta di input di tipo dataset del Service KMeans, troviamo la possibilità di selezionare - attraverso le relative checkbox - quali colonne del dataset effettivamente passare al Service.

Cliccando invece sulla porta di output di tipo dataset del Service, potremo sulla destra selezionare la datasource destinazione per il dataset in uscita.

Selezione Target di esecuzione per i Service

Per ciascun Service componente il Workflow è possibile impostare un Target.

Il Target determina l'insieme dei nodi del cluster del Sistema Data Analytics candidati ad ospitare l'esecuzione dei Service che gli sono stati assegnati.

I possibili Target selezionabili dovranno essere preventivamente definiti dall'amministratore da pannello di controllo (vedi Gestione dei Target)

Valorizzazione automatica dei parametri di porta

Nel collegare Service tra loro, il Sistema Data Analytics provvederà ad assegnare i valori gli argomenti (quelli definiti nel metamodello) della porta di output di un Service ai corrispettivi della porta di input del Service successivo nel Workflow.

Esempio

Modifica di un Workflow

E' possibile modificare un Workflow, o rapidamente le proprietà di un Service che lo compone, cliccando sul pulsante .

Versionamento

Ad ogni modifica il Workflow verrà versionato:

e sarà possibile impostare una versione precedente come default

Esecuzione di un Workflow

Una volta che il Workflow è stato configurato e creato, può essere eseguito o schedulato per l'esecuzione. Se configurate, il Sistema Data Analytics invierà anche le relative notifiche sul relativo stato di esecuzione.

Selezione del Namespace

Al click sul pulsante , se l'amministratore di sistema ha definito namespace aggiuntivi da Pannello di Controllo, si aprirà un pop-up per la selezione del namespace.

Qui Basti sapere che per namespace si intende un'area del cluster dedicata all'esecuzione del Workflow. Più namespace possono differire per politiche di sicurezza, risorse computazionali disponibili e altro (Consulta il tuo amministratore di sistema per maggior informazioni).

Possibili Stati Workflow

• READY: il Workflow è appena stato creato ed è pronto per l'esecuzione
• STARTING: il Workflow è in fase di inizializzazione. Risorse per esso stanno venendo allocate
• RUNNING: il Workflow è attualmente in esecuzione
• COMPLETED: il Workflow ha completato l'esecuzione. Risultati disponibili
• STOPPED: il Workflow è stato manualmente fermato dall'utente
• ERROR: il Workflow si è interrotto a causa di un errore

Log dei Service del Workflow

Dalla pagina di dettaglio di un Workflow eseguito o in esecuzione è possibile accedere al log dei singoli Service componenti che hanno superato la fase di inizializzazione (stato STARTING).

Come indicato in figura, cliccando su si aprirà il pannello di visualizzazione dei log.

Da qui, cliccando su sarà anche possibile scaricare una copia dei log in locale.

Eliminazione di un Workflow

Cliccando su sarà possibile eliminare un Workflow dal catalogo.

Il Sistema Data Analytics chiederà conferma:

Creazione di un Template

: verrà creato un Template:

Un Template è una copia speciale non eseguibile di un Workflow disponibile a catalogo come base per la creazione di nuovi Workflow. Vedi anche Gestione Template

Uso di MLFlow

Figura: Workflow Experiment

Se all'interno di un WorkFlow, un modello addestrato è di tipo FML, è possibile, attraverso il bottone Experiments (Figura: Workflow Experiment), eseguire una comparazione per la scelta dell'algoritmo, accedendo al tool mlflow (Figura: MLflow Tool).

Figura: MLflow Tool