9 maart 2009
Wetenschapper Stephen Wolfram ontwikkelt een nieuwe zoekmachine die vragen letterlijk beantwoordt. Wolfram heeft jaren gewerkt aan Wolfram Alpha. Op zijn blog vertelt hij hoe die nieuwe zoekmachine werkt en welke nieuwe mogelijkheden ontstaan. Kortweg: gebruikers kunnen een feitelijke vraag stellen waarop de zoekmachine een exact antwoord geeft. Science Fiction ? Niet helemaal. Volgens de wetenschapper geeft zijn 'computional knowledge engine' het enige juiste antwoord op een in natuurlijke taal gestelde vraag. 'The way humans normally communicate is through natural language. And when one’s dealing with the whole spectrum of knowledge, I think that’s the only realistic option for communicating with computers too. Of course, getting computers to deal with natural language has turned out to be incredibly difficult. … All one needs to be able to do is to take questions people ask in natural language, and represent them in a precise form that fits into the computations one can do. Of course, even that has never been done in any generality. … I wasn’t at all sure it was going to work. But I’m happy to say that with a mixture of many clever algorithms and heuristics, lots of linguistic discovery and linguistic curation, and what probably amount to some serious theoretical breakthroughs, we’re actually managing to make it work'. De wetenschapper gebuikte zijn ambitieuze computerprojecten Mathematica en A New Kind of Science als basis voor de nieuwe zoekmachine. Nova Spivack, oprichter van de semantische dienst Twine en Radar Networks, mocht de zoekmachine testen. Volgens hem werkt de dienst naar behoren. 'One of the most surprising aspects of this project is that Wolfram has been able to keep it secret for so long. I say this because it is a monumental effort (and achievement) and almost absurdly ambitious'.
Dankzij metadata kan de zoekmachine onderscheid maken tussen verschijnselen. De zoekmachine herkent de zinstructuur, oftewel de semantiek, van de metadata en komt zo uit bij het juiste resultaat. Spivack voorspelde vorig jaar dat het semantisch web in 2010 alomtegenwoordig is. Spivack legt het verschil tussen de zoekmachine van Wolfram en Google uit: 'In this respect it is vastly smarter than (and different from) Google. Google simply retrieves documents based on keyword searches. Google doesn't understand the question or the answer, and doesn't compute answers based on models of various fields of human knowledge. … Where Google is a system for FINDING things that we as a civilization collectively publish, Wolfram Alpha is for COMPUTING answers to questions about what we as a civilization collectively know. It's the next step in the distribution of knowledge and intelligence around the world — a new leap in the intelligence of our collective 'Global Brain'. And like any big next-step, Wolfram Alpha works in a new way — it computes answers instead of just looking them up'. Wolfram Alpha geeft geen documenten weer zoals Google. Matt Marshall verwoordt het als volgt: 'Wolfram … has created a proprietary system based on fields of knowledge, containing terabytes of curated data and millions of lines of algorithms to represent real-world knowledge as we know it'. Een gecureerde database is van belang voor zoekmachines om de waarde van informatie te bepalen. Niet alle onderdelen van de informatie zijn even belangrijk. Dit onderscheid kan goed gebruikt worden door zoekmachines om het juiste antwoord op een vraag te genereren. Bij Wolfram Alpha maakt de zoekmachine gebruik van de semantiek van de ingevoerde vraag waardoor er gedetailleerde antwoorden kunnen worden gegeven. Toch is het voor een deel ook nog SF. Er zijn wat haken en ogen. Niet op iedere vraag is een enkel antwoord mogelijk. Spivack: 'Still, this is potentially murky philosophical territory, at least for some kinds of questions. Consider global warming — not all scientists even agree it is taking place, let alone what it signifies or where the trends are headed. Similarly in economics, based on certain assumptions and measurements we are either experiencing only mild inflation right now, or significant inflation. There is not necessarily one right answer — there are valid alternative perspectives'. Wolfram probeert dit probleem af te vangen door meerdere antwoorden weer te geven. Ook moet Wolfram volgens Spivack de zoekmachine dommer maken. 'But it is also designed by and for people with IQ's somewhere in the altitude of Wolfram's — some work will need to be done dumbing it down a few hundred IQ points so as to not overwhelm the average consumer with answers that are so comprehensive that they require a graduate degree to fully understand. It also remains to be seen how much the average consumer thirsts for answers to factual questions. I do think all consumers at times have a need for this kind of intelligence once in a while, but perhaps not as often as they need something like Google. But I am sure that academics, researchers, students, government employees, journalists and a broad range of professionals in all fields definitely need a tool like this and will use it every day'. Wolfram is van plan om zijn zoekmachine binnen twee maanden beschikbaar te hebben voor het publiek. 'It’s certainly the most complex project I’ve ever undertaken. Involving far more kinds of expertise—and more moving parts—than I’ve ever had to assemble before'.
