31 juli 2008
Google ontdekte dat het Web wel heel erg groot aan het worden is. Volgens het bedrijf heeft ze onlangs meer dan een biljard unieke URL's op het Web getraceerd. 'This milestone awed our search engineers, who are seeing the Web growing by several billion individual pages every day', zo werd door Google-woordvoerders in een blog posting gemeld. Google nam tegelijkertijd de gelegenheid te baat om de scope en omvang van haar index te promoten. 'We don't index every one of those trillion pages — many of them are similar to each other, or represent auto-generated content … that isn't very useful to searchers. But we're proud to have the most comprehensive index of any search engine, and our goal always has been to index all the world's data', zo schreven Jesse Alpert en Nissan Hajaj, software engineers in het Web Search Infrastructure Team van Google. Het is al een hele tijd terug dat Google publiekelijk iets gezegd heeft over de omvang van haar index, een onderwerp dat voor enkele jaren voor een fikse controverse zorgde tussen de grote zoekmachinebedrijven. De strijd om de omvang van de index tussen Google en Yahoo is nog berucht ! Die controverse kwam tot een eind toen duidelijk werd dat de meeste gebruikers bijna nooit meer dan twee pagina's webresultaten scannen. Waar het dus om gaat is het leveren van 10 tot 20 echt relevante weblinks of, nog beter, van een direct feitelijk antwoord. Er zijn weinig mensen die door 5000 mogelijke resultaten zullen scannen om het antwoord te vinden.