1 december 2007
Uitgevers en persbureaus introduceren ACAP, een nieuw protocol om het de zoekmachines te bemoeilijken content toegankelijk te maken. Google, Yahoo en Microsoft houden zich voorlopig afzijdig. Het nieuwe protocol geeft de uitgevers meer controle over de content; ze kunnen makkelijker bepalen welke content, wanneer en hoe lang door zoekmachines kan worden geïndexeerd. Dat meldt Associated Press, dat zelf het initiatief heeft genomen voor het project en daarin ook een leidende rol heeft gespeeld. Het systeem, Automated Content Access Protocol (ACAP) is eigenlijk een verbeterde en uitgebreidere versie van Robots.txt, het Robots Exclusion Protocol. Dat protocol is al bijna veertien jaar geleden ontwikkeld om zoekmachines van websites (of gedeelten daarvan) uit te sluiten. Dat protocol deugt echter niet meer, zo vindt de ACAP-coalitie. Er is ongeveer een jaar gesleuteld aan het nieuwe protocol. Het initiatief werd ingegeven door de juridische problemen van Franse en Belgische krantenuitgevers met Google. ACAP geeft de uitgever de mogelijkheid uitgebreide instructies te geven aan de crawlers en spiders van zoekmachines. Het essentiele verschil met het oude Robots.txt is de mogelijkheid om een tijdslimiet voor de toegankelijkheid te stellen. ACAP kan bepalen hoe lang bepaalde content in het geheugen van Google, Yahoo en andere zoekmachines mag blijven staan.
ACAP probeert zo snel mogelijk een vuist te maken en roept uitgevers wereldwijd op zich te scharen achter het initiatief. Nieuwsbedrijven willen de controle over hun content behouden, maar daarvoor is een ding noodzakelijk: de acceptatie van het nieuwe protocol door de zoekmachines. Als die dat niet willen doen, dan zal het nieuwe formaat niet werken. Google, Yahoo en Microsoft waren allen present tijdens de presentatie van ACAP. Ze lieten direct weten huiverig te zijn voor beperkende voorwaarden, gesteld door één specifieke branche. Ze zijn nog niet van plan het nieuwe protocol te gaan gebruiken. Ze zien zelf veel meer in het uitbouwen van hun eigen nieuwe versie van Robots.txt, Sitemaps. Dat formaat zou in ieder geval wel door alle marktpartijen worden geaccepteerd. ACAP zal dus voorlopig nog niet worden geimplementeerd en zal dus vooral dienen als pressiemiddel voor 'ongehoorzame' zoekmachines. Hoe meer uitgevers het formaat echter accepteren, hoe meer de zoekgiganten onder druk komen te staan om ACAP te gaan gebruiken. Overigens heeft de Franse zoekmachine Exalead actief meegewerkt aan de ontwikkeling van ACAP. Zoekexpert Danny Sullivan schreef 'that the lack of support by the top search providers is one reason why site owners needn't rush to adopt ACAP. If publishers were to use ACAP without ensuring that standard robots.txt or meta robots commands were also included, they would fail to properly block search engines'. 'TimesOnline has implemented ACAP to show its support for ACAP and its goals', zo zei Dominic Young, hoofd van de 'syndication services' bij News International. 'The aim is to allow more sophisticated relationships between websites and the machines which access them. At the moment that makes the focus search engine crawlers…in time, as ACAP develops, we hope it will enable new and creative ways of doing this to the benefit of our readers, the search engines and ourselves."
