Robots.txt es un archivo de texto que le indica a los bots lo que pueden y no pueden ver en tu página web.