robots.txt

Un file di testo che un sito mette alla sua porta d'ingresso per dire ai programmi automatici, come i motori di ricerca o i bot delle AI, cosa possono leggere e cosa no.