Avancerade XML Sitemap Tips: 4 sidor att utesluta en Robotar TXT File

En Robotar TXT-fil fungerar tillsammans med en XML-sitemap för att kommunicera med sökmotorernas robotar, annars känd som sökrobotar eller robotar. Dessa är automatiska skript som reser World Wide Web med syfte att indexera innehåll. Medan en XML sitemap berättar robotarna vad webbsidor du vill ha indexerade, gör ett Robotar TXT fil motsatsen, notering webbinnehåll som du inte vill att robotar att besöka eftersom du vill utesluta dem från sökmotorer. Din Robotar TXT fil kan neka åtkomst till hela din webbplats, vissa mappar eller särskilda webbsidor. Filen kan skapas med hjälp av Anteckningar i Windows eller Textedit i Mac, och ska sparas i roten på din domän. Omdömen

Det finns 4 primära typer av webbinnehåll som du skulle vilja att utesluta från sökmotorer med hjälp av en Robotar TXT-fil: Omdömen

1. In-Progress Content Omdömen

Tänk dig att du ser över en stor webbplats. När du kika in på webbplatsen filer, du upptäcker att den är fylld med föråldrade webbsidor och värsta ännu, sidor som tar upp fel eller omdirigera när folk försöker komma åt dem. Dessa skall undantas från XML sitemap och läggs till din Robotar TXT-fil, så sökmotorer kommer inte av misstag index och skicka trafik till dem. Det finns inget mer frustrerande för en webbanvändare än tro att de har kommit på den exakta information de behöver, bara för att finna att sidan faktiskt inte existerar längre. Om du arbetar med hela din webbplats för ett tag, kan du även använda robotar TXT filen för att tillåta åtkomst till hela webbplatsen, så sökrobotar inte besöka din webbplats alls. Omdömen

2. Privat Content

Som företag är det troligt att du har eller funderar på att skicka speciella innehåll för personer som betalar eller registrerar sig. På samma sätt, du kan lösenordsskydda delar av din webbplats bara för vissa medlemmar i ditt team för att se. Självklart behöver du inte vill ha någon av dessa sidor som visar upp i sökmotorer för hela världen att se. Genom att ta bort dessa sidor från din XML sitemap och infoga dem i din Robotar TXT-fil, du skickar ett tydligt budskap till sökmotorer att sidorna är privata och inte bör visas som offentlig infarterna till din webbplats. Omdömen

3 . Låg prioritet Content Omdömen

Med tanke på hur sökrobotar är automatiska program, kan du inte förvänta sig att använda sunt förnuft när de checkar ut din webbplats. De gör sina beslut baserat på beräkningar, så att de inte medvetet vet vad webbsidor du anser viktigare än andra. Av skäl som sträcker sig från trafik till externa länkar, en trivial sida såsom din sekretesspolicy skulle kunna dyka upp på toppen av resultat för sökmotorn för vissa sökord. Om du inte vill att vissa sidor vara ditt första intryck till potentiella kunder och klienter, bör du ändra prioritetsinställningarna i XML sitemap och sedan räkna upp dem i din Robotar TXT-fil. Omdömen

4. Duplicate Content

Sökmotorer bestraffa webbplatser för dubbletter eftersom spammare brukade använda denna taktik för att försöka lura systemet. Detta innebär att du är i trubbel om du erbjuder dina tittare en kopia av samma webbsida för utskrift, använda http säkra (https) och mindre säker (normal http) versioner av samma sidor, eller har olika webbadresser som pekar på samma e-handel butik post till exempel. Se till att sökmotorer vet att du inte lura dem med flit genom att tydligt identifiera den kanoniska (eller föredragna) sida i XML sitemap och notering alla dubbletter i din Robotar TXT-fil för uteslutning Omdömen  ..