Applicazione con AI via API
Per un avvio a basso carico: applicazione, dati e servizi di base. Il modello viene eseguito dal provider; utilizzo API e servizi esterni hanno costi propri.
RAG AVANZATO E INFERENZA AD ALTO THROUGHPUT
RAGFlow, software gratuito e open source, ti aiuta a trovare risposte nei tuoi documenti, indicando le fonti da verificare. Riunisci file e dati aziendali e rendili consultabili attraverso un assistente AI.
Rilevamento e classificazione, escalation verso i referenti e ripristino con raccolta delle evidenze.
Interroga i dataset autorizzati…
Modello via API o locale
RISORSE E DIMENSIONAMENTO
Queste sono proposte Netsons con margine, non minimi ufficiali né prestazioni garantite. Misura memoria, spazio e tempi con i tuoi dati prima della produzione.
Per un avvio a basso carico: applicazione, dati e servizi di base. Il modello viene eseguito dal provider; utilizzo API e servizi esterni hanno costi propri.
Configurazione di riferimento: Qwen3-8B, una richiesta alla volta e contesto fino a 8k token. Include applicazione, runtime e una GPU A40 da 48 GB. Modelli più grandi o più utenti richiedono un dimensionamento adeguato.
RAGFlow utilizza risorse per leggere documenti, costruire indici e recuperare fonti. È distribuito con Apache-2.0; il modello servito da vLLM richiede una verifica della propria licenza.
4 core · 16 GB RAM · 50 GB · Docker ≥ 24 · Compose ≥ 2.26.1
Il self-hosting permette di gestire applicazione e dati sui tuoi server. Prompt, documenti o risultati inviati a provider, connettori e API seguono anche le condizioni di quei servizi.
Documentazione ufficiale ↗RAGFLOW + VLLM · CARATTERISTICHE
RAGFlow cura ingestione e retrieval; vLLM concentra la GPU sul serving efficiente del modello generativo.
Gestisce documenti, tabelle, immagini e slide con pipeline di segmentazione configurabili.
Combina recupero, filtri e riordinamento per portare al modello il contesto più pertinente.
Sfrutta batching continuo e gestione della KV cache per aumentare il throughput del modello.
Espone servizi e workflow integrabili in portali, applicazioni e processi aziendali.
Interroga manuali, contratti e procedure con dataset separati e retrieval controllato.
Combina fonti eterogenee e reranking per supportare analisi complesse.
Espone API RAG a portali e applicazioni dedicate a domini specifici.
AI ACT · GOVERNANCE TECNICA
Con RAGFlow puoi risalire ai documenti usati dall’assistente. Cura la provenienza dei materiali e controlla i passaggi citati, soprattutto quando la risposta servirà a qualcuno per scegliere come agire.
Questi accorgimenti ti aiutano a organizzare il lavoro con l’AI. Per capire quali obblighi dell’AI Act riguardano il tuo progetto, considera come viene usato e il ruolo della tua organizzazione: la scelta del software, da sola, non basta.
Quadro normativo ufficiale UERegistra origine e permessi dei file importati e delle fonti sincronizzate.
Conserva i riferimenti ai passaggi recuperati insieme alla configurazione del modello.
Prova domande rappresentative e controlla pertinenza delle citazioni e risposte incomplete.
Stabilisci chi controlla gli esiti dubbi e come segnalare una fonte errata.
GUIDA AL SOFTWARE
RAGFlow trasforma raccolte di documenti in una base consultabile attraverso l’AI. Legge i materiali, li organizza e recupera i passaggi utili per rispondere alle domande.
I riferimenti alle fonti aiutano a capire da dove arriva una risposta e a proseguire la lettura nel documento.
È indicato quando devi orientarti tra manuali, tabelle e documenti articolati, conservando il legame con le fonti.
Carica una raccolta coerente, scegli come trattare i documenti e collega il modello per le risposte.
Controlla la lettura dei file e le citazioni. Documenti difficili da interpretare o poco aggiornati possono ridurre l’utilità delle risposte.
DOMANDE FREQUENTI
Risposte pratiche su risorse, installazione, dati, costi e governance.
Parla con un tecnico →API: 8 vCPU · 32 GB RAM · 200 GB NVMe. SELF-HOSTED: 32 vCPU · 128 GB RAM · 1 TB NVMe · A40 48 GB VRAM.
Le risorse proposte sono una base Netsons da verificare sul tuo carico, non un minimo valido per ogni modello.
Le API eseguono il modello presso il provider; l’inferenza locale richiede un dimensionamento dedicato.
Modello, quantizzazione, context window, utenti contemporanei, volume documentale, retention dei log e numero di processi paralleli sono le variabili principali da misurare.
Qwen3-8B · 8k context · concurrency 1. A40 · 48 GB VRAM. Le risorse proposte sono una base Netsons da verificare sul tuo carico, non un minimo valido per ogni modello.
Le API eseguono il modello presso il provider; l’inferenza locale richiede un dimensionamento dedicato.
Il self-hosting permette di gestire applicazione e dati sui tuoi server. Prompt, documenti o risultati inviati a provider, connettori e API seguono anche le condizioni di quei servizi.
Verifica le funzioni multiutente e i ruoli disponibili nella versione e nella licenza scelta.
Configura account nominativi e accessi ai dati; per gruppi che richiedono isolamento usa istanze separate.
Dimensiona il modello sulle richieste simultanee, non sul solo numero di account.
Si misurano CPU, RAM, storage, latenza e code; quindi si aumenta la singola istanza oppure si separano frontend, worker, database, storage e runtime AI su nodi dedicati.
NVMe è indicato per runtime, indici, modelli e dati operativi. Object storage e backup remoto completano il disegno per archivi, output e copie di continuità.
Definisci un backup di configurazioni, workspace e dati persistenti, proteggendo credenziali e token. Scegli frequenza e conservazione, quindi prova il ripristino.
Disponibilità e gestione del backup dipendono dal servizio infrastrutturale scelto.
HTTPS, firewall, VPN o rete privata, autenticazione forte, privilegi minimi e separazione dei segreti costruiscono una base tecnica solida.
Log e alert aiutano a verificare il funzionamento nel tempo.
Calcola separatamente infrastruttura, eventuale GPU e consumo del provider AI. Imposta limiti e avvisi dove disponibili e controlla le automazioni ripetitive.
L’abbonamento a una chat AI e l’accesso API seguono condizioni distinte del provider.
Sì. Lo stack usa API, webhook o connettori previsti dai singoli progetti. Le integrazioni vengono autorizzate una per una e documentate nel disegno operativo.
Versioni e dipendenze vengono verificate in staging, dati e configurazioni vengono salvati e l’aggiornamento viene eseguito con una procedura di rollback pronta.
CPU, RAM, VRAM, spazio disco, latenza, throughput, code, errori, utilizzo del modello e tempi di risposta mostrano dove intervenire prima che il carico influenzi gli utenti.
Rende più chiari posizione dei dati, versioni, accessi, log e responsabilità tecniche.
Queste evidenze sostengono classificazione, procedure e supervisione definite dall’organizzazione.
Si valuta il caso d’uso, si informa l’utente quando previsto, si documentano modello e finalità, si definisce la supervisione umana e si conservano evidenze proporzionate al rischio.
Sì. Inventario, controllo accessi, logging, backup, gestione delle vulnerabilità e continuità rafforzano resilienza e capacità di risposta all’interno del percorso organizzativo NIS2.
Consulta la sezione Risorse e dimensionamento: distingue l’esecuzione con modelli via API da quella con modelli locali e collega le relative opzioni infrastrutturali.
Scegli in base al modello utilizzato, ai dati da gestire e al carico previsto.
Il team può aiutarti a scegliere risorse e livello di gestione del server. Concorda esplicitamente installazione, manutenzione di RAGFlow + vLLM, integrazioni e supporto del modello: la gestione sistemistica del server e quella del software sono attività distinte.