År 2016 hanterade Google över 3,2 biljoner sökfrågor, men de resultat som sökmotorn gav svarade bara för en bråkdel av tillgängligt innehåll online. Mycket av den information som finns tillgänglig online är inte tillgänglig för sökmotorer, så du måste använda specialverktyg eller undersöka webbplatser själv för att hitta dessa dolda sidor. Känd som den djupa webben, står denna dolda information för upp till 5000 gånger vad som är tillgängligt med hjälp av typiska söktekniker.
Typer av dolt innehåll
Webbplatsers dolda sidor faller i kategorier som beskriver varför de förblir osynliga för sökmotorer.
Vissa utgör dynamiskt innehåll, serveras endast när en besökare skickar en specifik begäran på en webbplats som använder databasstyrd kod för att presentera riktade resultat. Som ett exempel kan dessa sidor innehålla shoppingresultat baserat på specifika kombinationer av produktkriterier. Sökmotorer är inte utformade för att spåra och lagra information som lagras i dessa databaser. För att hitta dessa sidor måste du gå till webbplatsen och söka efter den specifika informationen du letar efter, eller använda en databasinriktad söktjänst som Bright Planet.
Vissa sidor har inga länkar som kopplar dem till sökbara källor. Tillfälliga resurser, till exempel flera versioner av webbplatser under utveckling, kan falla i denna kategori, liksom dåligt utformade webbplatser. Om någon till exempel skapade en webbsida och laddade upp den till webbplatsens server men inte lyckades lägga till en länk till den på webbplatsens aktuella sidor, skulle ingen veta att den var där, inklusive sökmotorerna.
Ännu fler sidor kräver inloggningsuppgifter för att se eller nå dem, som prenumerationswebbplatser. Webbdesigners utser sidor och delar av webbplatser som begränsade för sökmotorer, vilket effektivt eliminerar dem från att hittas på konventionella sätt. För att komma åt dessa sidor måste du vanligtvis skapa ett konto innan du får åtkomst till dem.
Använda Robots.txt-filer
Sökmotorer genomsöker sidorna på en webbplats och indexerar dess innehåll så att det kan visas som svar på frågor. När en webbplatsägare vill utesluta några delar av sin domän från dessa indexeringsprocedurer lägger hon till adresserna till dessa kataloger eller sidor i en speciell textfil med namnet robots.txt, lagrad i roten på sin webbplats. Eftersom de flesta webbplatser innehåller en robotfil oavsett om de lägger till några undantag för den, kan du använda det förutsägbara namnet på dokumentet för att visa dess innehåll.
Om du skriver "[domännamn] /robots.txt" utan citattecken i webbläsarens platsrad och ersätter "[domännamn]" med webbplatsadressen visas innehållet i robotfilen ofta i webbläsarfönstret efter du trycker på "Enter". Inlägg med "inaktivera" eller "nofollow" representerar delar av webbplatsen som förblir oåtkomliga via en sökmotor.
Gör-det-själv-webbplatshacking
Förutom robot.txt-filer kan du ofta hitta annars dolt innehåll genom att skriva webbadresser för specifika sidor och mappar i din webbläsare. Om du till exempel tittade på en konstnärs webbplats och märkte att varje sida använde samma namngivningskonvention - som gallery1.html, gallery2.html, gallery4.html - kan du kanske hitta ett dolt galleri genom att skriva sidan " gallery3.html. " i din webbläsare.
På samma sätt, om du ser att webbplatsen använder mappar för att organisera sidor - som exempel.com/content/page1.html, där "/ content" är mappen - kan du kanske se själva mappen genom att skriva webbplatsen och mappen , utan en sida, till exempel "example.com/content/" i din webbläsare. Om åtkomst till mappen inte har inaktiverats kan du kanske navigera genom sidorna som den innehåller, liksom sidor i alla undermappar, för att hitta dolt innehåll.
