Manuale d’Uso del Servizio Dataset to MinIO
Introduzione
Il servizio Dataset to MinIO consente di salvare all’interno di uno storage MinIO un dataset prodotto in una pipeline del Sistema Data Analytics.
Il dataset viene trasferito dal volume Kubernetes della BDA application a un bucket MinIO e registrato come dataset sul Sistema Data Analytics.
È un componente di preparazione dati, utile per rendere persistenti i risultati intermedi o finali di una pipeline.
Funzionalità del Servizio
-
Acquisizione da volume Kubernetes
Il servizio riceve il dataset in input tramite una porta di tipo volume (/inputs), collegata al blocco precedente della pipeline. -
Upload su MinIO
Tutti i file presenti nel volume vengono caricati nel bucket MinIO configurato, mantenendo la struttura delle cartelle. -
Registrazione automatica sul Sistema Data Analytics
L’output del servizio è un dataset registrato sul Sistema Data Analytics, con storage MinIO, pronto per essere riutilizzato in pipeline o scaricato dall’interfaccia. -
Gestione trasparente della connessione
L’utente non deve preoccuparsi di endpoint, bucket o credenziali: questi parametri vengono gestiti automaticamente tramite le porte della piattaforma.
Utilizzo del Servizio
Configurazione
Nell’interfaccia del Sistema Data Analytics è sufficiente:
- Collegare la porta di input al dataset prodotto dal blocco precedente
Esecuzione
Al RUN della BDA application:
1. Il servizio riceve i dati tramite la porta di input dal servizio precedente,
2. Li carica nel bucket MinIO corrispondente,
3. Registra automaticamente l’output come dataset nel Sistema Data Analytics.
Output
Il dataset in uscita è disponibile come asset registrato nella sezione Dataset del Sistema Data Analytics, pronto per essere collegato ad altri servizi o scaricato. Per visualizzare il dataset è sufficiente aprire il menù a tendina del workflow corrispondente ai dataset e cliccare sul dataset taggato come "out".
Vantaggi
- Persistenza dei dati: i risultati intermedi o finali della pipeline diventano dataset ufficialmente registrati.
- Integrazione fluida: nessun passaggio manuale di upload verso MinIO.
- Organizzazione chiara: la struttura delle cartelle locali viene mantenuta nello storage MinIO.
- Riutilizzo immediato: il dataset registrato può essere impiegato in altre pipeline o scaricato dall’interfaccia.