Ho lasciato Claude lavorare tutta la notte sull'addestramento di un modello, e la mattina ho buttato tutto — non perché avesse sbagliato, ma perché non ero in grado di capire se avesse sbagliato.
Ho un abbonamento Claude Max 5x, 90 € al mese più imposte. Uso Claude da terminale con la CLI e dal telefono con l'app. Con questo piano riesco a usare sempre Opus, l'ultimo modello, e anche Fable. Nel mio flusso di lavoro divido l'uso in due modalità operative ben distinte: una controllata e una in autonomia.
In modalità controllata leggo ogni risposta, uso prompt ravvicinati e procedo rigorosamente un passo alla volta. In questa configurazione l'LLM è molto più accurato e molto più fedele a quello che dice: riesco a stargli dietro e a capire cosa succede. Inoltre, consuma meno token, perché fa meno lavoro. Fable, per esempio, lo uso solo in modalità controllata.
La modalità in autonomia scatta quando c'è un compito grande: lo lancio e lo lascio correre, tipo mentre vado a dormire. In autonomia il modello consuma più token e può imboccare bivi sbagliati. Non succede sempre: se il compito è metodico e lungo, ma chiaro, lì fa il suo lavoro. Quando invece prende la strada sbagliata, dopo devi rileggerti un sacco di testo, capire che ha sbagliato, capire dove ha preso il bivio, e cercare di fare un revert parziale del lavoro.
Ho provato i comandi /goal e /loop su obiettivi non banali: l'LLM itera n volte su un determinato obiettivo. Le volte che li ho usati non ha preso bivi che non doveva prendere, e sono stato soddisfatto del risultato finale. Ma i limiti dell'autonomia emergono altrove.
Il limite del dominio tecnico
In quel periodo stavo addestrando un modello di IA, e non sono un esperto di addestramento di modelli. Mi sono detto: «Perché non approfittare della notte, dove dormo, e posso usare sette ore di Opus mentre dormo?»
Ho lasciato Claude lavorare da solo. La mattina mi sono svegliato, mi sono messo davanti al lavoro della notte e mi sono dovuto rileggere tutto per capire dove fosse andato. Ci ho perso un'ora o due la mattina per capire cosa fosse successo, e a essere onesto non ho nemmeno capito tutto quello che l'LLM aveva fatto su quel training.
Davanti a quel lavoro incomprensibile ho realizzato il vero problema: quella mattina non ho buttato il lavoro perché l'LLM avesse sbagliato, l'ho buttato perché non ero in grado di giudicare se avesse sbagliato. Non è che l'LLM abbia fallito tecnicamente, è che non avevo il dominio per valutarlo. L'LLM fa un sacco di cose buone, ma davanti a problemi non banali, senza un dominio forte sul contesto tecnico, ti manca comunque la conoscenza per arrivare al risultato in maniera consapevole.
La conclusione della nottata è stata una sola: sette ore di lavoro notturno, annullate interamente. «Ho revertato tutto il lavoro fatto fino a x step di conversazione indietro.»
Il nuovo flusso per l'addestramento
Dopo quel reset, ho proseguito con la modalità passetto passetto, che mi aiuta a capire e a imparare anche questo mestiere complicatissimo che è addestrare un modello di IA. Prima di lasciarlo andare da solo, ora mi chiedo se saprei giudicare il risultato. Se il dominio non lo padroneggio, vado passo passo — anche se è più lento e anche se ho i crediti per fare altrimenti.
Adesso, quando devo fare cose di questo genere, cerco di avere più dati possibile e nel modo più organizzato possibile. Prima di dare autonomia su un training, monto il logging: uso Weights & Biases per il logging dei training, con integrazione API, così il modello riesce a leggere i dati e a vedere le run. Legge comunque anche i dati sulla macchina che sta effettuando il training.
Weights & Biases lo uso come monitor del training e come fase di brainstorming: per analizzare le varie run e capire come migliorare il risultato del training successivo. Bisogna però essere realisti: Weights & Biases è un monitor, non mi ha reso esperto di addestramento.
La regola che ne ricavo è che l'autonomia che puoi dare all'LLM è direttamente proporzionale alla semplicità del task e alla conoscenza che hai di quel dominio. «Più ne so e più il compito è per me anche facile, chiaro e visibile, più mi permetto di dare autonomia.»
📖 Leggi anche
- Agentic Coding: Una Trappola per lo Sviluppo Software?
- File agents.md: utili per gli agenti di coding?
- Lean-ctx: Ottimizzatore Ibrido Riduce Consumo Token LLM del 89-99%
Hai bisogno di una consulenza?
Aiuto aziende e startup a sviluppare software, automatizzare processi e integrare AI. Parliamone.
Scrivimi