ESP32 iPhone Agent

Fa controllare un iPhone vero a un modello AI, con un circuito da pochi dollari

Un progetto open source che collega un modello AI capace di vedere immagini a un iPhone reale: lo specchia via AirPlay e lo tocca tramite un piccolo circuito ESP32 che si finge tastiera e mouse.

Cos’è

Nato come esperimento di un singolo sviluppatore, permette a un modello AI di vedere lo schermo di un iPhone (tramite AirPlay) e di interagire con lui (tramite un ESP32-S3 collegato alla porta USB, che si presenta come mouse e tastiera esterni). Non serve un Mac, un account sviluppatore Apple o il jailbreak del telefono: basta un computer Mac o Linux e il circuito.

Come funziona

Un programma sul computer riceve lo schermo del telefono via AirPlay e lo trasforma in immagini. Un modello AI 'planner' decide cosa fare, un modello 'actor' scegie le singole azioni (toccare, scrivere, trascinare), e l'ESP32 le trasmette al telefono come farebbe una tastiera o un mouse collegati.

Per chi è

Sviluppatori e appassionati di elettronica curiosi di sperimentare con agenti AI che agiscono su un telefono reale.

Cosa ci si può fare

• Far eseguire a un'AI compiti ripetitivi su un'app che non ha un modo ufficiale di essere automatizzata
• Sperimentare con agenti AI che vedono e toccano un'interfaccia reale, non solo testo

Punti di forza

• Hardware economico (circa 7 dollari)
• Non richiede jailbreak, Mac o account sviluppatore Apple
• Licenza MIT, codice aperto e ispezionabile

Limiti

• Non funziona su schermate di codice di sblocco, Apple Pay o video protetti da copia
• Scrive solo caratteri semplici (ASCII)
• Richiede dimestichezza con Terminale, flashing di firmware e configurazione di rete