Con 7 dollari di elettronica, un'AI usa un iPhone vero

Un progetto open source su GitHub fa controllare un iPhone reale a un modello AI che vede lo schermo, con un minuscolo microcontrollore da 7 dollari: niente Mac, niente account sviluppatore, niente jailbreak.

Perché conta

Mostra, con 7 dollari di elettronica e codice gratuito, qualcosa che fino a poco tempo fa richiedeva accordi con Apple o strumenti professionali: un'AI che vede e usa un telefono reale come farebbe una persona, senza passare dalle API ufficiali.

In pratica

Se sai usare un Terminale e vuoi sperimentare con agenti AI che agiscono su un telefono vero, è un progetto da seguire e provare; se non hai mai programmato, aspetta che qualcuno lo trasformi in uno strumento pronto all'uso.

Si chiama esp32-iphone-agent ed è un progetto open source pubblicato su GitHub che fa una cosa che di solito richiede strumenti professionali: far controllare un iPhone vero a un modello AI capace di vedere immagini, come se fosse seduto davanti al telefono con le mani. In meno di un mese ha raccolto 850 stelle su GitHub, il modo in cui la community segnala che un progetto merita attenzione.

Il telefono viene "visto" tramite AirPlay, la funzione che normalmente serve a mandare lo schermo dell'iPhone su una TV: un programma gratuito sul computer lo trasforma in immagini che l'AI può leggere. Per toccare lo schermo serve un ESP32, un piccolo circuito da pochi euro che si collega alla porta USB del telefono e si finge una tastiera e un mouse esterni, una funzione di accessibilità che Apple chiama AssistiveTouch. Un modello AI fa da "regista" e decide il piano, un secondo modello esegue le singole azioni, e il sistema controlla dopo ogni mossa se lo schermo è davvero cambiato come previsto.

Per provarlo servono una scheda ESP32-S3 (circa 7 dollari su Seeed Studio), un iPhone con porta USB-C — o Lightning, con un adattatore — e un computer Mac o Linux. Il resto è software gratuito, con licenza MIT. L'autore mostra due esempi funzionanti, disegnare su una lavagna digitale e impostare una sveglia, oltre a un video della procedura.

Non è un progetto per chi non ha mai aperto un Terminale: bisogna caricare il programma sul circuito con un comando apposito, configurare la rete Wi-Fi e installare un paio di programmi sul computer. È il tipo di progetto che un lettore di SIGNAL abituato a giocare con Claude Code o con un Raspberry Pi può seguire in una serata, non un'app da installare in due minuti.

Il progetto ha dei limiti precisi: non funziona su schermate di inserimento del codice, con Apple Pay o con video protetti da copia, perché iOS non li trasmette via AirPlay; scrive solo caratteri semplici, senza accenti o simboli speciali; e lo specchio dello schermo si interrompe quando il telefono si blocca. L'autore chiede anche, nel file che spiega il progetto, di usarlo solo sui propri dispositivi e account: è pensato per sperimentare, non per controllare il telefono di qualcun altro.