Un schedariu robots.txt guardatu in l'raghjone di u vostru situ web dicerà robots belli cum'è spiders di u mutore di ricerca chì i cartulari è i schedari sò stati permessi di rorcè. Hè facilitu d'utilizà un schedariu robots.txt, ma ci sò parechje cose chì vi ricurdate:
- I tarritorii neglii di i robots ùn ignuraramulu u vostru còddu robots.txt. I tipi di più cumuni sò malati per u robots è e robbitori chì cercanu l'indirizzu di email ind'è a cugliera.
- Certi novi prugrammi scriveanu robots chì ignoramenu u schedariu robots.txt. Questu hè spissu fattu per sbagli.
- Qualchese pò vede u vostru file robots.txt. Sò sempri chjamati robots.txt è sò sempre guardatu in a radica di u situ web.
- Infine, si qualchì ligame cù un schedariu o diretturu chì hè squazitu da u vostru còddu robots.txt da una pagina chì ùn hè micca escluditu da u schedariu robots.txt, i mutori di ricerca pò avè truvatu.
Ùn aduprate micca robots.txt per ocultaranu qualcosa impurtante. Invece, puderete metterà infurmazione impurtante nantu à e password sicurizate o l'abbanduneghja micca di u web.
Cumu utilizà sti schedarii di mostra
Copia u testu da a mostra chì hè più vicinu à ciò chì vulete fà, è piace à u vostru file robots.txt. Change the robot, directory, and file names per fassi cù a vostra cunfigurazione preferita.
Dui Robots Basic.txt Files
Agentu d'usu: *
Disallow: /
Stu scrittore dice chì qualsiasi robot (Agent d'usuariu: *) chì accede à l'uttene avè ignuratu ogni pàgina nantu à u situ (Disallow: /).
Agentu d'usu: *
Disallow:
Stu scrittore dice chì qualsiasi robot (Agent d'usuariu: *) chì accede hè permessu di vedà ogni pàgina nantu à u situ (Disallow:).
Pudete ancu fà questu quì si abandone u vostru còddu di robots.txt in legnu o micca avè un in u vostru situ in tuttu.
Prutegge Specific Directories Da Robots
Agentu d'usu: *
Disallow: / cgi-bin /
Disallow: / temp /
Stu scrittumu dici chì qualsiasi robot (Agent d'usuariu: *) chì accede à l'uttene ùn anu ignoratu i cartulari / cgi-bin / è / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Prutegge Specific Pages From Robots
Agentu d'usu: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Stu scrittore dice chì qualsiasi robot (Agent d'usuariu: *) chì accede à l'avè ignurà i schedari /jenns-stuff.htm è /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Impedisce un Robot Specificu Accettate u vostru Situ
Agentu d'usu: Lycos / xx
Disallow: /
Stu scrittumu dici chì u bot Lycos (Agentu d'usuali: Lycos / xx) ùn hè micca accessu permessu nant'à u situ (Disallow: /).
Permettemu solu un accessu tecnicu di Robot
Agentu d'usu: *
Disallow: /
Agentu d'usuali: Googlebot
Disallow:
Stu scrittu prima ùn privi tutti i robots cum'è quellu chì avemu fattu quì sopra, è da esse esplicitamenti u Googlebottu (Agentu d'utilizatori: Googlebottu) tenenu accessu à tuttu (Disallow:).
Cumpregu Multiple Lines per Esse Accunciatu Esclusivu Questu
Mentri hè megliu aduprà una linea di l'agente d'Usuariu, cumplicante, cum'è Agentu d'usu: *, pudete esse cum'è specificu cum'è piace. Ricurdà chì i robots lettenu u registratu. Allora i primi linii dicinu chì tutti i robots sò stati blocati di tuttu è dopu in u file si dici chì tutti i robots sò permessi l'accessu per tuttu, i robots anu accessu à tuttu.
Se ùn erate micca sicuru chì scrivevi u vostru còdici di robots.txt, pudete utilizà l'arme di Webmaster di Google per verificà u vostru file robots.txt o scrivite un novu.