Contesto della ricerca
Gli autorresearch agents sono sistemi di intelligenza artificiale progettati per proporre soluzioni, valutarle e perfezionarle iterativamente sulla base di feedback. Microsoft Research ha condotto otto esecuzioni indipendenti dello stesso agente su un singolo compito, osservando che le prestazioni finali variavano notevolmente, da un punteggio di 68,3 a 100,0, anche quando veniva fornita una quantità di calcolo molto più elevata.
Idea basins e limiti della cronologia
Definizione di “idea basin”
Tracciando le soluzioni su una mappa bidimensionale che posiziona soluzioni simili in prossimità, i ricercatori hanno notato che ogni esecuzione tende a rimanere confinata in una piccola zona della mappa. Queste zone sono state denominate idea basins. All’interno di un bacino, l’agente spende la maggior parte del budget computazionale affinando soluzioni già simili, anziché esplorare approcci potenzialmente più promettenti scoperti da altre esecuzioni.
Effetto della cronologia accumulata
La cronologia della conversazione funge da “memoria” che guida il ragionamento futuro dell’agente. Quando la cronologia è mantenuta, il pensiero dell’agente è continuamente influenzato da ragionamenti precedenti, spingendolo a rimanere nello stesso bacino di idee. Anche la compressione periodica della cronologia non è sufficiente a rompere questo schema.
Metodo Fork‑and‑Flush
Come funziona il forking
Nel passo di forking, l’agente si divide in K rami paralleli, ognuno dei quali eredita l’intero workspace (file, codice, risultati salvati) ma non la cronologia delle chat. Questo consente a ciascun ramo di partire da una base identica ma di esplorare percorsi di ragionamento indipendenti.
Il flushing della cronologia
Il passo di flushing elimina completamente la cronologia della chat per ciascun ramo. In questo modo, il nuovo agente non è più vincolato alle linee di pensiero precedenti e può avvicinarsi a un diverso bacino di idee. Dopo un periodo di ricerca, il ramo con il punteggio più alto viene mantenuto, mentre gli altri vengono scartati.
Un’immagine illustrativa mostra, a sinistra, una singola esecuzione (linea grigia tratteggiata) che continua a perfezionare soluzioni nello stesso bacino. A destra, un ramo “flushato” si sposta in un nuovo bacino, ottenendo un punteggio significativamente più alto.
Valutazione sperimentale
Compiti testati
Il team ha valutato Fork‑and‑Flush su 13 compiti a lungo termine, tra cui:
- Imballaggio di poliomini
- Pianificazione di job‑shop
- Crittanalisi
- Compressione di un classificatore CIFAR
- Ottimizzazione di un kernel VLIW
Le esecuzioni sono durate da diverse ore a oltre 100 ore, utilizzando i modelli GPT‑5.6‑terra e GPT‑5.5 tramite il GitHub Copilot CLI.
Risultati numerici
Con lo stesso budget computazionale, Fork‑and‑Flush ha raggiunto un punteggio medio normalizzato (min‑max) di 0,78, rispetto a 0,47 per le esecuzioni singole e 0,54 per la strategia “best‑of‑4”. Ciò corrisponde a miglioramenti relativi del 66,0 % e del 44,4 % rispettivamente. Inoltre, la deviazione standard normalizzata è scesa a 0,16, rispetto a 0,26 delle esecuzioni singole, indicando risultati più consistenti.
Un semplice “flush” della cronologia, senza ramificazione, ha comunque portato a un incremento del 22 % rispetto alle esecuzioni singole.
Tabella riepilogativa
- Single run (13 compiti): punteggio medio 0,47 – deviazione 0,26 (baseline).
- Best‑of‑4 (13 compiti): punteggio medio 0,54 – deviazione 0,21 (≈ +14,9 % rispetto al baseline).
- Fork‑and‑Flush (13 compiti): punteggio medio 0,78 – deviazione 0,16 (+66,0 % rispetto al baseline).
- Flushing only (11 compiti): punteggio medio 0,55 (≈ +22 % rispetto al baseline).
Modelli più potenti e necessità di reset
Per verificare se modelli più avanzati evitino i bacini di idee, i ricercatori hanno testato tre varianti