In seguito ai processi di digitalizzazione, le aziende hanno convertito una grande quantità di informazioni in dati digitali. Questi dati, però, sono spesso di tipo diverso, come file di testo, immagini, blue print, file di progetti, e sono salvati in modo non organizzato, disgregati su diversi storage la cui consultazione si traduce spesso in un consumo di tempo importante. Con gli strumenti oggi a disposizione è possibile creare un’infrastruttura informatica che aggreghi i dati e li renda ricercabili da un agente AI tramite il noto metodo di un prompt, per massimizzare l’efficacia e la velocità della ricerca.Realizzare una moderna applicazione SAAS solitamente implica lo sviluppo almeno di due componenti: un’interfaccia e un layer back end che gestisca le operazioni CRUD sui dati. Per lo sviluppo di un agente AI, invece, l’equivalente di questo stack è significativamente più complesso. Alla base dello stack abbiamo la registrazione alle API del LLM su cui ci si intende appoggiare. Per il nostro motore di ricerca basato su AI, infatti, si andrà a utilizzare un LLM (Large Language Model) già esistente, in modo da poter ereditare tutte le conoscenze che il modello già possiede in fatto di cultura generale, linguaggio, interazione con gli utenti: ci si potrà così concentrarci solo nel doverlo istruire sulla parte relativa ai dati aziendali. Una volta eseguita la registrazione alle API, bisognerà creare un modello personalizzato, che verrà istruito con i dati della propria azienda ma sarà in grado di impiegare le funzionalità del modello padre tramite le API. A questo punto, ci si potrà dedicare alla parte di UI/UX, dove andremo a creare l’interfaccia del prompt per effettuare le ricerche sul modello. Tutti i Large Language Model esistenti, come Chat GPT, Claude o Gemini, mettono a disposizione delle API (interfacce di programmazione) invocabili in procedure personalizzate. Per utilizzare queste API occorre sottoscrivere un abbonamento, per ricevere il token di autenticazione che consentirà di accedere alle funzionalità necessarie.A seconda del LLM scelto, le API potranno essere fruibili per mezzo di chiamate REST a degli endpoint, oppure con delle librerie Python installabili nel proprio ambiente di sviluppo. Alcuni fornitori mettono anche a disposizione framework in cloud, già interfacciati con le librerie necessarie, da cui è possibile eventualmente anche noleggiare le GPU necessarie al training del modello.Scegliere il LLM con cui interfacciare il proprio agente richiede la valutazione di alcuni fattori chiave. Il primo è sicuramente il costo. Le differenze di pricing possono essere significative non solo tra i diversi LLM, ma anche tra diverse versioni di uno stesso modello. Scegliere di utilizzare l’ultima versione di un LLM, aggiornata e performante, può costare di più che accontentarsi di una versione legacy, che però potrebbe rivelarsi sufficiente per le nostre esigenze
Dom. Dic 22nd, 2024
