Questão número 310543

Para evitar que determinados diretórios de um website sejam vasculhados pelos robôs (bots) de busca, o seguinte trecho de código pode ser utilizado:

User-agent: *.

Disallow: /diretorio.

Disallow: /diretorio2.

Para que as instruções sejam respeitadas pelos bots, este trecho de código deverá estar presente no arquivo:

• A.

  /warning.txt.

• B.

  /sitemap.xml

• C.

  /robots.txt.

• D.

  /index.html.