La maggior parte dei dati aziendali è tabulare, raccolta in alberi crittografati, gestionali CRM e registri contabili. Tuttavia, costruire un modello affidabile da essi richiede oggi l’allenamento di nuovi modelli da zero per ogni dataset, seguito da costose procedure di tuning, ingegneria di feature e pipeline di riallenamento per gestire il data drift. Google Research ha risposto con TabFM, un modello innovativo che tratta la previsione tabulare come un problema di apprendimento in contesto anziché per addestramento diretto.

Con TabFM, gli sviluppatori aziendali o ingegneri AI riducono il tempo per portare un modello in produzione da settimane di lavoro su pipeline a una semplice richiesta API.

Le sfide dei modelli ML tradizionali

Per ottenere previsioni affidabili da alberi boosting, gli scienziati dei dati devono costruire e mantenere pipeline dati complesse. Devono pulire gli input, imputare valori mancanti, codificare variabili categoriche in formati numerici e ingegnerizzare feature personalizzate. Una volta pronti i dati, devono affrontare cicli ripetuti di ottimizzazione di iperparametri, cercando tra learning rate, profondità degli alberi, rapporti di sottocampionamento e griglie di regolarizzazione per trovare la migliore configurazione.

Una volta distribuito, questi modelli tradizionali si affrontano con "debito operativo costante attraverso il monitoraggio del data drift e pipeline di riallenamento per rimanere precisi," ha dichiarato Weihao Kong, ricercatore di Google a VentureBeat. Intanto, il resto dell'industria dell'intelligenza artificiale procede: i modelli generativi per testo e computer vision si spostano verso l'inferenza zero-shot, dove un modello può eseguire compiti completamente nuovi semplicemente fornendogli un contesto.

I LLM (Large Language Models) eccellono nell’apprendimento in contesto, quindi, la domanda è: perché non si può solo alimentare una tabella in un LLM standard? Perché i LLM sono allenati su linguaggio naturale e non su dati strutturati e quindi lottano per processare tabelle direttamente. In primo luogo, i loro limiti di contesto vengono esauriti rapidamente da tabelle di dimensioni moderate, composte da poche migliaia di righe e centinaia di colonne. In secondo luogo, soffrono di ineficienza nella tokenizzazione, dividendo maldestramente i valori numerici e distruggendo la precisione matematica. Infine, i LLM sono ciechi alla struttura. Quando una tabella 2D viene serializzata in una stringa 1D, i LLM smarriscono i valori che appartengono a ciascuna riga e colonna man mano che aumenta la dimensione della tabella.

“è per questo motivo che oggi è molto più efficace utilizzare un LLM per scrivere il codice che gestisce l'ingegneria delle feature e chiama XGBoost, piuttosto di chiedere direttamente al LLM di leggere la tabella,” ha spiegato Kong.

Cos'è TabFM?

Per eseguire l'inferenza con TabFM, non si aggiornano i pesi del modello. Invece, si assumono esempi storici (le righe di addestramento con etichette note) e le righe di destinazione (nuovi dati per i quali si desidera prevedere) e le si passa al modello come un unico prompt unito. Il modello impara a interpretare i rapporti tra le colonne e le righe direttamente da questo contesto in tempo reale.

Esempio pratico

Pensiamo a un analista aziendale che cerca di prevedere la disdetta dei clienti. Invece di costruire una pipeline dati su misura e allenare un modello XGBoost, può semplicemente passare un campione di dati storici sulle sessioni utente insieme ai nuovi dati attivi a TabFM. In un'unica esecuzione, il modello fornisce istantaneamente la probabilità di disdetta.

Architettura di TabFM

TabFM supera i limiti dei LLM trattando i dati come una griglia, preservandone l'integrità strutturale senza costringerlo in una stringa unidimensionale. Per gestire efficacemente struttura tabulare diversa e abilitare previsioni di zero-shot scalabili, TabFM combina le forze di architetture sperimentali precedenti: TabPFN e TabICL.

    • TabPFN: sviluppato da Prior Labs, ha dimostrato per primo che un'architettura transformer potesse realizzare classificazione senza addestramento su piccole tabelle, pur sforandosi computazionalmente per dati di grandi dimensioni.
    • TabICL: sviluppato da IRIF (Institut de Recherche en Informatique Fondamentale) a Parigi, ha superato questo collo di bottiglia introducendo la compressione delle righe, permettendo l'apprendimento in contesto per tabelle di dimensioni molto maggiori.

TabFM unisce il contestuale approfondito di TabPFN con l’efficiente compressione di TabICL in una nuova architettura ibrida costruita su tre meccanismi chiave:

1. Attenzione alternata a righe e colonne

I dati grezzi sono elaborati inizialmente attraverso un modulo di attenzione multistrato che si muove alternativamente tra colonne (features) e righe (esempi). Questa attenzione multidimensionale cattura automaticamente interazioni complesse trafeatures, evitando di affidarsi esclusivamente alla faticosa creazione manuale di feature.

2. Compressore di righe

Dopo questa contestualizzazione, le informazioni cross-attenzionate per ogni riga vengono compresse in un singolo vettore denso. Il metodo ha il suo fondamento nella ricerca di TabICL, dove vengono utilizzati token CLS per aggregare tutta l’informazione di una riga, a differenza di TabPFN v2, v2.5 e v2.6 che utilizzerebbero l’intera griglia di celle. Questo riduce drasticamente l'impronta computazionale.

3. Apprendimento in contesto (ICL)

Una volta che le righe vengono compresse, un Transformer causale elabora la sequenza di embedding. Grazie al meccanismo di attenzione implementato da TabICL, l’algoritmo è in grado di operare sugli embedding compatti, riducendo drasticamente i costi computazionali e permettendo di gestire grandi tabelle in modo efficiente.

Sua preparazione

Un importante punto di forza di TabFM risiede nell’approccio di pretraining. Fu addestrato esclusivamente su centinaia di milioni di dataset sintetici generati in maniera dinamica utilizzando modelli causali strutturali (SCMs), i quali includono una vasta tipologia di funzioni casuali. Allenandosi unicamente con SCMs sintetici, TabFM ha appreso i fondamentali “priors matematici” su come le features tabulari interagiscono, evitando l'ingestione di file CSV reali o riservati.

TabFM in azione

I ricercatori di Google hanno testato le capacità di TabFM in TabArena