Bonjour,
J'interviens dans un vieux post, mais je suis tombé dessus en cherchant une solution à mon problème sur Google et j'espère en intervenant ici que ça aidera d'autres personnes qui cherchent aussi une réponse à leur problème!
J'ai eu le même soucis que vous, c'est-à-dire que mon fichier robots.txt était bien sur mon FTP, mais quand j'essayais d'y accéder via mon navigateur web, cela me générait une 404.
J'ai solutionné le problème en modifiant simplement les permissions sur mon fichier robots.txt. J'ai copié les permissions d'un fichier qui fonctionnait (n'importe quel fichier php à la racine du ftp par exemple), et je les ai appliquées sur mon fichier robots.txt. Et tout est rentré dans l'ordre
Thomas