Introduzione al modello JEPA‑Anything

Un team internazionale guidato da PhAI Labs, con collaboratori di Stanford, Oxford e Princeton, ha pubblicato un lavoro che estende l’architettura Joint‑Embedding Predictive Architecture (JEPA) di Yann LeCun a un modello universale di previsione, denominato JEPA‑Anything. Questo modello non ricostruisce dati grezzi come i pixel, ma prevede un riassunto astratto di uno stato mancante o futuro, filtrando le informazioni irrilevanti.

Architettura innovativa: previsioni multiple

La novità principale di JEPA‑Anything consiste nel suddividere lo stato previsto in più parti, ciascuna gestita da un modulo di predizione dedicato. Un vincolo aggiuntivo spinge i moduli a catturare aspetti diversi, evitando che tutti apprendano la stessa informazione. Le parti parziali vengono poi ricombinate per ottenere una rappresentazione completa del mondo.

Contrariamente ai modelli JEPA tradizionali, che canalizzano tutte le informazioni in un’unica predizione, JEPA‑Anything utilizza quattro fattori ortogonali, ognuno con il proprio predittore, e li integra in un unico stato globale. I ruoli specifici di ciascun fattore non vengono predefiniti, ma emergono spontaneamente durante l’addestramento, rendendo il sistema altamente flessibile.

Confronti con il modello JEPA standard

Gli autori hanno confrontato JEPA‑Anything con un modello JEPA standard identico per architettura e dati, addestrato nelle medesime condizioni. I risultati più evidenti sono emersi nei test dinamici:

    • In un ambiente semplificato di Pong con interventi mirati, l’errore di previsione è diminuito del 35 %.
    • Per combinazioni di interventi mai viste durante l’addestramento, la riduzione dell’errore è stata del 13 %.

Questi miglioramenti si sono confermati su dieci compiti di test che spaziano dalla fisica alla meteorologia, con riduzioni significative dell’errore su equazioni di flusso come l’equazione di Burgers (quasi la metà dell’errore rispetto al baseline).

Performance nei diversi domini di applicazione

JEPA‑Anything è stato valutato su una varietà di scenari:

    • Fisica dei fluidi: vantaggi marcati su equazioni di flusso, mantenendo un margine di circa il 3 % anche dopo 50 passi di previsione.
    • Chimica computazionale: risultati migliori in simulazioni di acqua, quarzo, acetaminofene e benzene, anche dopo 100 passi.
    • Biologia cellulare: assegnazione più affidabile dei tipi cellulari a partire da dati di singole cellule.
    • Dati clinici: previsione di oltre 1 000 possibili eventi patologici con lieve miglioramento rispetto al modello standard.
    • Robotica di locomozione: vittorie in due dei tre ambienti di camminata simulata, con una performance inferiore in un terzo scenario.
    • Previsioni meteo: risultati costantemente migliori rispetto al baseline.

Scoperta di una terapia sperimentale per il carcinoma epatocellulare

Il risultato più sorprendente riguarda la ricerca sul cancro al fegato. Analizzando le previsioni parziali apprese da dati biologici (attività genica, livelli proteici e schermate CRISPR), il modello ha suggerito una combinazione terapeutica: l’interleuchina‑18 (IL‑18) con il blocco dell’enzima CD73.

Validazione sperimentale della combinazione IL‑18 + blocco CD73

Il team ha testato la combinazione in diverse condizioni:

    • Cellule di carcinoma epatocellulare co‑coltivate con cellule immunitarie.
    • Organoidi tumorali e frammenti di tessuto prelevati da tre pazienti ciascuno.
    • Modelli murini inoculati con cellule tumorali.

Nei campioni di organoidi e tessuto, la combinazione ha ucciso più cellule tumorali rispetto all’IL‑18 da solo o al blocco CD73 singolo, e ha indotto una più forte attivazione di cellule T e cellule NK. Nei topi, i risultati hanno mostrato una risposta immunitaria potenziata, sebbene lo studio non abbia ancora dimostrato l’efficacia clinica definitiva.

Scoperta di una legge fisica emergente

In un esperimento separato, i ricercatori hanno addestrato JEPA‑Anything su traiettorie orbitali simulate, senza fornire alcuna informazione sulle grandezze fisiche. Il modello ha appreso un pattern quasi identico alla terza legge di Keplero, stabilendo che la frequenza orbitale varia con la dimensione dell’orbita alla potenza –1,5. Il valore stimato dal modello era –1,4991, dimostrando una sorprendente capacità di inferire leggi fisiche fondamentali da dati puri.

Limiti, cautela e prospettive future

Gli autori avvertono che la separazione pulita delle parti apprese non implica necessariamente la comprensione di relazioni causali reali. Rimane aperta la questione di quando un modello di questo tipo potrà essere considerato sufficientemente affidabile da guidare la progettazione di esperimenti. L’obiettivo a lungo termine è creare agenti AI capaci di proporre, classificare e valutare esperimenti, reinserendo i risultati nel ciclo di apprendimento del modello.

Codice, modelli e disponibilità

Tutti i codici e i modelli di JEPA‑Anything sono resi pubblici, consentendo a ricercatori di tutto il mondo di replicare e estendere i risultati.

Contesto storico e altre iniziative correlate

JEPA è stato proposto da Yann LeCun nel 2022 come alternativa ai modelli generativi. Nel giugno 2025 Meta ha lanciato V‑JEPA 2, un modello video con 1,2 miliardi di parametri capace di controllare bracci robotici in ambienti sconosciuti senza training aggiuntivo. Nel novembre 2025 LeCun e Randall Balestriero hanno presentato LeJEPA, una base teorica per stabilizzare l’addestramento senza ricorrere a workaround.

LeCun sta ora