Manuale d’Uso del Servizio Dataset from MinIO
Introduzione
Il servizio Dataset from MinIO permette di utilizzare in una pipeline del Sistema Data Analytics un dataset già registrato sulla piattaforma e memorizzato in uno storage MinIO.
Il servizio trasferisce i dati nel volume Kubernetes della BDA application, rendendoli disponibili ai blocchi successivi senza bisogno di download manuali.
Funzionalità del Servizio
-
Accesso a dataset registrati nel Sistema Data Analytics
L’input deve essere un dataset già presente nella sezione Dataset della piattaforma e registrato con storage di tipo MinIO. -
Caricamento del dataset nella pipeline
Collegando la porta di input al dataset, i contenuti vengono scaricati da MinIO e scritti nel volume associato all’applicazione. -
Output tramite volume Kubernetes
In questo servizio l’output è reso disponibile esclusivamente tramite una porta basata su volume Kubernetes: - il dataset non viene automaticamente registrato come nuovo asset,
- ma è immediatamente utilizzabile dal servizio successivo,
-
e resta comunque scaricabile come asset temporaneo.
-
Integrazione semplice e trasparente
Non sono richieste configurazioni manuali: endpoint, bucket e credenziali vengono gestiti dalla piattaforma.
Utilizzo del Servizio
Configurazione
Nell’interfaccia del Sistema Data Analytics è sufficiente:
- Selezionare un dataset da quelli disponibili,
- Collegarlo alla porta di input del servizio.
- Collegare il servizio successivo che abbia la porta di input corrispondente
Esecuzione
Al RUN della BDA application:
1. Il servizio accede al dataset registrato sul Sistema Data Analytics,
2. Recupera i file corrispondenti da MinIO,
3. Li rende disponibili nel volume Kubernetes /outputs collegato al servizio successivo.
Output
Il dataset è disponibile nel volume Kubernetes, accessibile da altri blocchi della pipeline.
Può essere scaricato come asset temporaneo, ma non viene registrato automaticamente nel Sistema Data Analytics come nuovo dataset.
Vantaggi
- Integrazione diretta: i dataset registrati sul Sistema Data Analytics (con storage MinIO) sono subito utilizzabili in pipeline.
- Efficienza: nessun passaggio manuale di download o configurazione.
- Flessibilità: l’output in volume consente di concatenare più servizi senza duplicare o registrare dati intermedi.
- Accessibilità: i dati restano scaricabili come asset temporanei, anche senza registrazione persistente.