Introduzione: la differenza tra uno strumento che funziona e uno che funziona bene
Nel panorama contemporaneo dello sviluppo dell'intelligenza artificiale, gli strumenti a disposizione degli sviluppatori si sono moltiplicati esponenzialmente, rendendo possibile la realizzazione di una soluzione IA funzionante nel giro di poche ore. Tuttavia, esiste una differenza sostanziale e fondamentale tra uno strumento che semplicemente funziona e uno strumento che funziona davvero bene. Questa distinzione rappresenta il nucleo della sfida affrontata dall'Urban Institute nel suo ambizioso progetto di creazione di uno strumento di navigazione IA dedicato alle risorse sulla mobilità ascendente.
La costruzione di strumenti IA affidabili e di alta qualità richiede un investimento significativo in formati di dati pronti per l'IA e una collaborazione stretta con esperti nel campo specifico di applicazione. Questi ultimi comprendono qual è la guida specifica di cui il modello IA ha bisogno per utilizzare correttamente i dati e fornire risposte accurate alle domande degli utenti. In altre parole, sia l'expertise tecnica che quella nel dominio sono fondamentali per ottimizzare gli strumenti IA affinché corrispondano al loro scopo prefissato. È proprio in questo spazio che l'Urban Institute AI Studio ha dimostrato il suo valore e la sua capacità di innovazione.
L'Urban Institute ha recentemente completato un progetto ambizioso che ha coinvolto la creazione di uno strumento di navigazione IA per accedere alla sua vasta biblioteca di dati, strumenti e risorse di assistenza tecnica sulla mobilità ascendente. Riunendo data scientist e esperti di mobilità ascendente, il team è riuscito a creare uno strumento che fornisce agli utenti risposte accessibili e azionabili alle loro domande sulla politica della mobilità ascendente, tutte ancorate alla solida base di evidenze dell'Urban Institute. In questo articolo, esamineremo i tre insegnamenti chiave emersi da questa esperienza di sviluppo, che offre lezioni preziose a tutte le organizzazioni orientate alla missione che desiderano implementare soluzioni IA efficaci e affidabili.
Prima lezione: gli esperti in materia sono critici per la cura della base di conoscenza dello strumento IA
Uno dei più comuni errori commessi nello sviluppo di strumenti IA è la convinzione che più dati equivalga automaticamente a risultati migliori. Per produrre risultati accurati e affidabili, uno strumento IA non ha bisogno di accedere a ogni risorsa disponibile su un dato argomento. Al contrario, ha bisogno di accedere alle risorse giuste—quelle che contengono veramente le informazioni pertinenti e di alta qualità necessarie per rispondere efficacemente alle domande degli utenti.
Durante il processo di sviluppo, il team dell'Urban Institute ha deciso consapevolmente di non caricare nello strumento tutte le risorse sulla mobilità ascendente presenti negli archivi dell'istituzione. Invece, ha affidato a un team di esperti in materia il compito di curare attentamente un insieme selezionato di risorse basandosi sulle domande che gli utenti avrebbero presumibilmente posto. Questo approccio metodico ha dimostrato di essere cruciale per il successo del progetto.
Le domande identificate dal team hanno abbracciato uno spettro che va dalle interrogazioni più semplici alle più complesse. Alcuni esempi includevano domande dirette come "Quali sono tutti i fattori predittivi della mobilità ascendente?" e domande molto più articolate come "Quali sono gli interventi locali promettenti per lavori che pagano salari dignitosi, e quali sono stati gli effetti concreti di queste iniziative?"
Dopo aver identificato queste domande rappresentative, il team ha coinvolto dozzine di ricercatori che hanno selezionato 280 risorse Urban specificamente adatte a rispondere a ciascuna di queste domande. L'expertise di questi ricercatori è stata fondamentale nel garantire che lo strumento IA fornisse risposte ancorate alle migliori pratiche nella pianificazione della mobilità ascendente, agli interventi locali promettenti e al processo decisionale basato su dati.
Questo approccio ha insegnato al team una lezione preziosa: la cura della conoscenza non è un compito tecnico puro, ma piuttosto un processo che richiede una profonda comprensione del dominio. L'Urban Institute AI Studio offre proprio questo tipo di servizio alle organizzazioni orientate alla missione, aiutandole a mappare i casi d'uso realistici e a curare le informazioni essenziali di cui lo strumento IA necessita per funzionare efficacemente.
Seconda lezione: investire in dati pronti per l'IA migliora significativamente le prestazioni
Una volta identificate le risorse che avrebbero costituito la base di conoscenza dello strumento di navigazione IA, il team si è confrontato con una sfida tecnica importante: come rendere questi documenti e risorse effettivamente "pronti per l'IA". Questo processo, noto come preparazione o preprocessing dei dati, si è rivelato cruciale per il successo complessivo dello strumento.
La prima sfida affrontata dal team era la gestione dei documenti lunghi e complessi. Per rendere i documenti più lunghi più facili da analizzare per l'IA, il team ha implementato una soluzione programmatica che dividesse automaticamente questi documenti in capitoli o sezioni distinte. Eseguire questa operazione manualmente non sarebbe stato fattibile né efficiente quando applicato su larga scala, e il team aveva scoperto in un precedente progetto che la divisione automatica di documenti lunghi migliorava significativamente il recupero delle informazioni da parte del modello IA.
Parallelamente, il team ha investito notevolmente nell'etichettatura dei metadati. Gli esperti hanno constatato che l'etichettatura attenta dei metadati migliora significativamente il modo in cui gli strumenti IA recuperano e utilizzano le informazioni. Dove possibile, il team ha estratto e applicato automaticamente tag per informazioni importanti come l'anno di pubblicazione o il tipo di informazione contenuta in un documento, distinguendo ad esempio tra dati empirici veri e propri e studi di caso illustrativi.
Tuttavia, i test iniziali hanno rivelato che il modello avrebbe beneficiato significativamente dall'aggiunta di tag che fornissero al modello IA un contesto specifico su come interpretare ciascun documento. Questo tipo di etichettatura context-specifica ha richiesto l'expertise dei colleghi ricercatori e un processo di etichettatura manuale. Ad esempio, il team ha creato un tag di metadati che indicasse se un documento conteneva evidenze scientifiche, informazioni di sintesi, o interventi locali specifici. Questa distinzione si è rivelata estremamente utile nel guidare il modello verso le risorse più appropriate in risposta alle diverse tipologie di domande.
Un'altra innovazione importante è stata l'integrazione di deep linking nello strumento dashboard dell'Urban Mobility Initiative. Il team ha scoperto che il deep linking facilitava significativamente la capacità dei tool IA di citare correttamente le fonti. Progettando la dashboard in modo che ogni vista potesse essere mappata a un URL univoco, il team ha reso molto più semplice scrivere istruzioni di citazione accurate per il navigator. Questa attenzione ai dettagli tecnici è fondamentale per garantire che gli utenti possano sempre risalire alle fonti delle informazioni fornite dallo strumento.
L'esperienza acquisita ha condotto a un'importante conclusione: gli esperti di policy e tecnici possono lavorare insieme per progettare i sistemi di dati e gli strumenti affinché siano pronti per l'IA fin dall'inizio, piuttosto che dover affrontare complessi lavori di adattamento successivamente. Inoltre, anche quando si lavora con informazioni già esistenti, è possibile preprocessare i dati per creare una base di conoscenza perfezionata e ottimizzata per il caso d'uso specifico della soluzione IA.
Terza lezione: i prompt di sistema e le skill guidano gli strumenti IA verso risposte di qualità
Sebbene la capacità dello strumento di navigazione IA di recuperare le informazioni corrette migliorasse costantemente con ogni fase di preprocessing e ottimizzazione, il team ha scoperto che lo strumento occasionalmente rimuoveva documenti pertinenti dal processo di considerazione. Questo problema sorgeva perché inizialmente il team stava utilizzando il filtraggio intelligente dei metadati, dove un modello di linguaggio di grandi dimensioni (LLM) separato filtrava l'universo dei documenti potenzialmente rilevanti basandosi sui tag dei metadati.
In pratica, se un utente poneva una domanda su "salari minimi", lo strumento avrebbe visualizzato solo i match esatti nella base di conoscenza. Questo approccio, sebbene logico dal punto di vista tecnico, limitava la capacità dello strumento di fornire risposte comprensive a domande più sfumate o formulate diversamente. Se un utente chiedesse della "remunerazione equa" anziché "salario minimo", lo strumento potrebbe non riuscire a trovare risorse pertinenti, anche se la base di conoscenza conteneva materiali altamente rilevanti su questo tema.
Per risolvere questo problema, il team ha dotato il navigator di un prompt di sistema dettagliato e sofisticato. Questo prompt di sistema fornisce istruzioni specifiche al modello su come recuperare e analizzare documenti di diversi tipi in base alla natura della domanda di un utente. Questo insieme di istruzioni sottostanti viene aggiunto a ogni domanda dell'utente per guidare il navigator verso il tono, lo stile e la struttura desiderati per lo strumento, nonché verso i requisiti di citazione accurata e verso esempi di risposte eccellenti.
I prompt di sistema si sono rivelati straordinariamente efficaci nel migliorare le prestazioni dello strumento. Con il prompt di sistema implementato, se un utente pone una domanda di pianificazione o processo su come la sua comunità può aumentare la mobilità ascendente da situazioni di povertà, il modello prioritizza automaticamente i documenti etichettati come "toolkit", collegando l'utente al Toolkit per l'aumento della mobilità ascendente nella tua comunità dell'Urban Institute. Questo collegamento intelligente garantisce che gli utenti ricevano non solo informazioni pertinenti, ma anche strumenti pratici e attuabili.
Sulla base del successo dello strumento navigator pilot, il team dell'Urban Institute sta ora sviluppando uno strumento IA "agentivo" più avanzato che può sintetizzare i dati e le evidenze sulla mobilità ascendente dell'Urban Institute in prodotti fruibili personalizzati in base agli interessi dell'utente e alle caratteristiche della sua comunità. Il team tecnico e gli esperti in materia stanno creando agent skill—competenze specifiche dell'agente—che catturano le loro migliori linee guida su come l'agente può analizzare e interpretare i dati e produrre risultati accurati e utili.
L'importanza della collaborazione interdisciplinare
Un tema ricorrente in tutte e tre le lezioni è l'importanza fondamentale della collaborazione tra esperti tecnici e esperti nel dominio specifico. Questo non è un dettaglio marginale, ma piuttosto un principio centrale che ha guidato il successo dell'intero progetto. Troppo spesso, i progetti di IA vengono affidati esclusivamente a ingegneri software e data scientist senza la partecipazione attiva di esperti che comprendono veramente il dominio di applicazione.
Nel caso dell'Urban Institute, la sinergia tra data scientist e ricercatori esperti di mobilità ascendente ha permesso la creazione di uno strumento che non è semplicemente tecnicamente sofisticato, ma che è anche profondamente radicato nella conoscenza dominio-specifica. I ricercatori hanno potuto articolare quali domande gli utenti avrebbero probabilmente posto, quali informazioni sarebbero state più utili e come il modello avrebbe dovuto interpretare e contestualizzare i dati.
Implementazione pratica per altre organizzazioni
Le lezioni apprese dall'Urban Institute hanno implicazioni pratiche significative per altre organizzazioni che desiderano implementare strumenti IA. L'Urban Institute AI Studio offre esplicitamente servizi per aiutare organizzazioni orientate alla missione a mettere in pratica questi principi. Questi servizi includono:
- Mappatura realistica dei casi d'uso e delle domande che gli utenti pongono effettivamente
- Cura esperta della base di conoscenza per garantire che contenga le risorse giuste, non solo tutte le risorse disponibili
- Progettazione e preprocessing dei dati per renderli effettivamente pronti per l'IA
- Creazione di metadati intelligenti e etichettatura context-specifica
- Sviluppo di prompt di sistema personalizzati e agent skill specifici per il caso d'uso
- Progettazione di sistemi di dati e strumenti affinché siano pronti per l'IA fin dall'inizio
- Integrazione di capacità di deep linking per garantire la citazione accurata delle fonti
Lo sviluppo futuro: verso l'IA agentica
Il progetto dell'Urban Institute non si ferma allo strumento navigator. Il team sta attivamente sviluppando una versione più avanzata e agentica dello strumento che rappresenta la prossima frontiera nell'applicazione dell'IA al servizio della ricerca e della policy. Questo strumento IA agentico sarà in grado di fare di più che semplicemente recuperare e presentare informazioni—sarà capace di sintetizzare autonomamente i dati e le evidenze dell'Urban Institute in prodotti fruibili e personalizzati.
La personalizzazione rappresenta un aspetto cruciale di questo sviluppo futuro. Lo strumento agentico avrà la capacità di personalizzare i suoi output in base agli interessi specifici dell'utente e alle caratteristiche uniche della comunità per cui l'utente sta cercando risposte. Se una comunità ha priorità specifiche—ad esempio, aumentare l'occupazione nel settore tecnologico o affrontare le barriere nell'accesso all'istr