När Google indexerar så många miljarder webbsidor att det inte ens stör att lista numret längre, är det svårt att föreställa sig att mycket ligger bortom dess vidsträckta tentakler.
Under ligger dock en online-värld som få vet att det finns. Det är en värld av enorma, outnyttjade reserver av värdefull information som innehåller spretande databaser, dolda webbplatser och grumliga forum. Det är en värld där akademiker och forskare kan hitta de uppgifter som krävs för att lösa några av mänsklighetens största problem, men också där kriminella syndikat verkar, och terroristhandböcker och barnpornografi distribueras fritt.
hur man går med en vän i oändat
Försvinna i det mörka nätet
Det finns många giltiga skäl till varför du kanske inte vill att dina online-exploater ska kunna sökas. Ta reda på hur du kan försvinna från webben
Samtidigt är den underjordiska banan det bästa hoppet för dem som vill undkomma banden med totalitär statlig censur och dela sina idéer eller erfarenheter med omvärlden.
Intresserad? Du är inte ensam. Den djupa banan och dess mörka nät är en ny slagfält för dem som vill upprätthålla rätten till integritet online och de som tycker att rättigheter måste offras för samhällets säkerhet. Djupnätet är också den nya gränsen för dem som vill konkurrera med Google inom sökfältet. Ta en resa med oss till andra sidan internet.
Djupa banor, den mörka banan och mörka nät
Det första att förstå är att även om elementen som utgör den här andra webben har gemensamma aspekter, talar vi inte om en enda enhetlig enhet. De som är kända kommer ofta att prata i termer av den djupa eller osynliga banan, mörka nät och den mörka banan, och du kanske tror att alla är samma sak. Faktum är att de är separata fenomen, om än kopplade till vanliga teman, egenskaper eller intressen.
Den djupa banan är inte hälften så konstig eller olycklig som den låter. I datavetenskap talar det om de delar av webben som, oavsett anledning, har varit osynliga för konventionella sökmotorer som Google.
Majoriteten av den här djupa webben består av dynamiskt skapade sidor och databasposter som endast är tillgängliga genom manuell ifyllning av ett HTML-formulär
Majoriteten av den här djupa webben består av dynamiskt skapade sidor och databasposter som endast är tillgängliga genom manuell ifyllning av ett HTML-formulär. En mindre andel har av misstag eller medvetet gjorts otillgänglig för Googles sökrobotar, medan andra områden sitter bakom lösenordsskyddade eller endast prenumerationssidor.
Gör inget misstag, den djupa banan är enorm. Michael Bergmans banbrytande studie från 2001, The Deep Web: Surfacing Hidden Value, uppskattade att den stod för 7 500 TB data vid en tidpunkt då sökmotorerna bara kunde indexera 19.
Till och med de mer konservativa uppskattningarna i ett papper från 2007 skrivet av Googles Jayant Madhavan, Alon Halevy och kollegor, tyder på att det finns mer än 25 miljoner olika källor till djupt webbinnehåll, varav många är stora arkiv.
Det finns en rådande känsla i databasgemenskapen att vi saknade båten med WWW, avslutade Google-tidningen. Det övergripande budskapet i detta dokument är att en andra båt är här, med häpnadsväckande volymer strukturerad data, och att båten borde vara vår.
Djupets skatter
Det finns mycket legitimt och värdefullt innehåll på den djupa webben, säger Dr Juliana Freire, ledaren för ett University of Utah-projekt, DeepPeep, som syftar till att göra djupt webbinnehåll mer tillgängligt.
Till exempel finns det flera vetenskapliga datamängder (som Sloan Digital Sky Survey och Center for Coastal Margin Observation & Prediction), dokument och databaser, och dessa är användbara för samhället och har många viktiga tillämpningar.
Nästa sida