Applicazione con AI via API
LibreChat→APIAI provider
4 vCPU8 GB RAM100 GB NVMe
Per un avvio a basso carico: applicazione, dati e servizi di base. Il modello viene eseguito dal provider; utilizzo API e servizi esterni hanno costi propri.
CHAT AI PRIVATA CON MODELLI LOCALI
LibreChat. La chat AI del tuo team.
LibreChat, software gratuito e open source, riunisce diversi modelli AI in una chat per il tuo team. Puoi fare domande, analizzare documenti e collegare strumenti utili al lavoro quotidiano.
- Scegli il modello con cui parlare
- Assegna un account a ogni utente
- Fai domande sui tuoi documenti
- Crea assistenti con strumenti dedicati
- Collega la ricerca sul web
- Genera pagine e diagrammi in chat
- Esporta le tue conversazioni
- Licenza LibreChat · MIT
LibreChatTeam AIDEMO
MODELLO LOCALEOllama · Llama
Privato＋
Scrivi un messaggio al tuo modello…
Modello via API o locale
RISORSE E DIMENSIONAMENTO
Una base prudente, con il modello al posto giusto.
Queste sono proposte Netsons con margine, non minimi ufficiali né prestazioni garantite. Misura memoria, spazio e tempi con i tuoi dati prima della produzione.
Stack con modello locale
LibreChat→OllamaQwen3-8B
16 vCPU128 GB RAM1 TB NVMeA40 · 48 GB VRAM
Configurazione di riferimento: Qwen3-8B, una richiesta alla volta e contesto fino a 8k token. Include applicazione, runtime e una GPU A40 da 48 GB. Modelli più grandi o più utenti richiedono un dimensionamento adeguato.
LibreChat · Risorse, compatibilità e licenze
LibreChat richiede spazio per conversazioni, file e servizi dati collegati. La licenza MIT riguarda LibreChat; Ollama e ciascun modello conservano le rispettive licenze.
Docker Compose · MongoDB · API / Ollama
Il self-hosting permette di gestire applicazione e dati sui tuoi server. Prompt, documenti o risultati inviati a provider, connettori e API seguono anche le condizioni di quei servizi.
Documentazione ufficiale ↗LIBRECHAT + OLLAMA · CARATTERISTICHE
Una porta d’ingresso comune per modelli e conoscenza interna.
LibreChat gestisce l’esperienza utente; Ollama espone i modelli locali con un endpoint compatibile e sostituibile.
Chat multiutente
Account, cronologia e interfaccia condivisa per rendere l’AI accessibile senza esporre direttamente il runtime.
Modelli locali
Ollama gestisce download, caricamento e inferenza dei modelli supportati sulla GPU assegnata.
RAG e strumenti
Documenti, ricerca, agenti e tool ampliano la chat oltre la sola generazione di testo.
Endpoint aperti
La configurazione consente di aggiungere servizi compatibili o provider esterni quando un progetto lo richiede.
Utenti
Assistente interno
Un punto unico per scrittura, sintesi, analisi e supporto alle attività quotidiane.
LibreChat
Knowledge assistant
Con RAG e vector store la chat risponde sul patrimonio documentale autorizzato.
Ollama
Laboratorio modelli
Confronta modelli e preset senza cambiare l’interfaccia usata dagli utenti.
AI ACT · GOVERNANCE TECNICA
Una chat utile, con regole chiare per tutti.
Con LibreChat il team trova più modelli nello stesso ambiente. Spiega quali può usare, quali documenti può condividere e quando una risposta merita un controllo prima di diventare una decisione.
Questi accorgimenti ti aiutano a organizzare il lavoro con l’AI. Per capire quali obblighi dell’AI Act riguardano il tuo progetto, considera come viene usato e il ruolo della tua organizzazione: la scelta del software, da sola, non basta.
Quadro normativo ufficiale UEUna conversazione con l’AI
Rendi chiaro nella chat che le risposte sono generate da un modello AI.
Modelli scelti con criterio
Annota i modelli selezionabili e lo scopo degli assistenti configurati.
Documenti alle persone giuste
Assegna account personali e limita l’accesso ai file condivisi.
Risposte da valutare
Verifica le risposte prima di usarle per decisioni importanti.
GUIDA AL SOFTWARE
Come funziona LibreChat?
LibreChat offre al tuo team un unico posto in cui conversare con diversi modelli AI. Le persone possono chiedere aiuto, consultare documenti e ritrovare le proprie conversazioni dal browser.
Puoi collegare provider esterni oppure un modello eseguito sulla tua infrastruttura, secondo le esigenze del progetto.
A cosa ti aiuta
Rende più semplice usare l’AI nel lavoro quotidiano, senza distribuire l’attività tra interfacce diverse.
Da dove iniziare
Configura gli accessi e i modelli disponibili, poi scegli quali funzioni mettere a disposizione delle persone.
Cosa seguire nel tempo
Definisci quali documenti condividere e considera dove vengono elaborati. Una chat ospitata sui tuoi server può comunque usare un provider esterno.
DOMANDE FREQUENTI
Prima di portare l’AI nella tua infrastruttura.
Risposte pratiche su risorse, installazione, dati, costi e governance.
Parla con un tecnico →Segui la guida ufficiale del software per verificare i prerequisiti, scegliere il metodo di installazione e completare la configurazione iniziale. Guida ufficiale all’installazione ↗
API: 4 vCPU · 8 GB RAM · 100 GB NVMe. SELF-HOSTED: 16 vCPU · 128 GB RAM · 1 TB NVMe · A40 48 GB VRAM.
Le risorse proposte sono una base Netsons da verificare sul tuo carico, non un minimo valido per ogni modello.
Le API eseguono il modello presso il provider; l’inferenza locale richiede un dimensionamento dedicato.
Modello, quantizzazione, context window, utenti contemporanei, volume documentale, retention dei log e numero di processi paralleli sono le variabili principali da misurare.
Qwen3-8B · 8k context · concurrency 1. A40 · 48 GB VRAM. Le risorse proposte sono una base Netsons da verificare sul tuo carico, non un minimo valido per ogni modello.
Le API eseguono il modello presso il provider; l’inferenza locale richiede un dimensionamento dedicato.
Il self-hosting permette di gestire applicazione e dati sui tuoi server. Prompt, documenti o risultati inviati a provider, connettori e API seguono anche le condizioni di quei servizi.
Verifica le funzioni multiutente e i ruoli disponibili nella versione e nella licenza scelta.
Configura account nominativi e accessi ai dati; per gruppi che richiedono isolamento usa istanze separate.
Dimensiona il modello sulle richieste simultanee, non sul solo numero di account.
Si misurano CPU, RAM, storage, latenza e code; quindi si aumenta la singola istanza oppure si separano frontend, worker, database, storage e runtime AI su nodi dedicati.
NVMe è indicato per runtime, indici, modelli e dati operativi. Object storage e backup remoto completano il disegno per archivi, output e copie di continuità.
Definisci un backup di configurazioni, workspace e dati persistenti, proteggendo credenziali e token. Scegli frequenza e conservazione, quindi prova il ripristino.
Disponibilità e gestione del backup dipendono dal servizio infrastrutturale scelto.
HTTPS, firewall, VPN o rete privata, autenticazione forte, privilegi minimi e separazione dei segreti costruiscono una base tecnica solida.
Log e alert aiutano a verificare il funzionamento nel tempo.
Calcola separatamente infrastruttura, eventuale GPU e consumo del provider AI. Imposta limiti e avvisi dove disponibili e controlla le automazioni ripetitive.
L’abbonamento a una chat AI e l’accesso API seguono condizioni distinte del provider.
Sì. Lo stack usa API, webhook o connettori previsti dai singoli progetti. Le integrazioni vengono autorizzate una per una e documentate nel disegno operativo.
Versioni e dipendenze vengono verificate in staging, dati e configurazioni vengono salvati e l’aggiornamento viene eseguito con una procedura di rollback pronta.
CPU, RAM, VRAM, spazio disco, latenza, throughput, code, errori, utilizzo del modello e tempi di risposta mostrano dove intervenire prima che il carico influenzi gli utenti.
Rende più chiari posizione dei dati, versioni, accessi, log e responsabilità tecniche.
Queste evidenze sostengono classificazione, procedure e supervisione definite dall’organizzazione.
Si valuta il caso d’uso, si informa l’utente quando previsto, si documentano modello e finalità, si definisce la supervisione umana e si conservano evidenze proporzionate al rischio.
Sì. Inventario, controllo accessi, logging, backup, gestione delle vulnerabilità e continuità rafforzano resilienza e capacità di risposta all’interno del percorso organizzativo NIS2.
Consulta la sezione Risorse e dimensionamento: distingue l’esecuzione con modelli via API da quella con modelli locali e collega le relative opzioni infrastrutturali.
Scegli in base al modello utilizzato, ai dati da gestire e al carico previsto.
Il team può aiutarti a scegliere risorse e livello di gestione del server. Concorda esplicitamente installazione, manutenzione di LibreChat + Ollama, integrazioni e supporto del modello: la gestione sistemistica del server e quella del software sono attività distinte.