History: DanielKinzler Chapter 1: Grundlagen

Source of version: 1 (current)

1. Grundlagen 3 Bevor der Entwurf und die Implementation von WikiWord dargelegt werden können, werden in den verbleibenden Abschnitten dieses Kapitels Grundbegriffe geklärt (.1.1), ein Überblick über wichtige Eigenschaften der Wikipedia geboten (.1.2) sowie verschiedene Arten und Aspekte von Thesauri betrachtet (.1.3). Das folgende Kapitel gibt dann eine Übersicht über den Stand der Forschung in Hinblick auf die automatische Erstellung von Thesauri im Allgemeinen und die Extraktion von Wissen aus der Wikipedia im Speziellen (.2). 1.1. Begriffe Zunächst eine kurze Übersicht über Begriffe, die in dieser Arbeit spezielle Bedeutung haben: Wiki: Im Allgemeinen eine Webseite, die von jedem frei bearbeitet werden kann [LEUF UND CUNNINGHAM (2001)]; im Speziellen ein bestimmtes Wikipedia-Projekt (siehe unten). Wikipedia: Ein Projekt zur kooperativen Erstellung einer Enzyklopädie unter Verwendung der Wiki-Technologie (.1.2). Je nach Kontext bezeichnet Wikipedia ein bestimmtes Wikipedia- Projekt in einer bestimmten Sprache (siehe unten). MediaWiki: MediaWiki ist die Software, auf der dieWikipedia-Wikis basieren und die für diesen Zweck von der Wikimedia Foundation entwickelt wird [MW:ABOUT]. MediaWiki ist freie Software, lizenziert unter der GPL [GPL]. Wikimedia: DieWikimedia Foundation ist eine gemeinnützige Stiftung mit Sitz in St. Petersburg, Florida, USA, deren Zweck die Förderung von freiem Wissen ist [WM:ABOUT, OKD, FCW]. Sie betreibt Anfang 2008 über 750 Wiki-Projekte [M:SITES, WM:PROJECTS] zu unterschiedlichen Themen in unterschiedlichen Sprachen, unter anderem auch die Wikipedia-Projekte. WikiWord: Das im Rahmen dieser Diplomarbeit entwickelte Softwaresystem zur automatischen Extraktion eines multilingualen Thesaurus aus der Wikipedia. Projekt: Ein (Wiki-)Projekt ist eine konkrete Website, auf der ein Wiki-System verwendet wird und eine Gemeinschaft von Benutzern gemeinsam Inhalte zu einem bestimmten Thema erstellt — zum Beispiel die deutschsprachige Wikipedia (de.wikipedia.org). Im Falle der Wikipedia korrespondiert ein konkretes Projekt jeweils mit einer Sprache, in der enzyklopädische Inhalte erstellt werden. Diese Inhalte dienen als Korpus im Sinne dieser Arbeit (siehe unten). Sprache: EinWikipedia-Projekt ist immer mit der Sprache assoziiert, in der seine Inhalte verfasst sind. Jeder Sprache ist ein Code zugeordnet, der als Präfix für Language-Links und als Subdomain dient (.1.2). Diese Codes folgen imWesentlichen der ISO 639-1 Norm [ISO:639- 1 (2002), M:SITES]. Zum Beispiel verwendet die deutschsprachige Wikipedia den Code de (und damit die Domain de.wikipedia.org). Ein Sprach-Code identifiziert also auch ein Wiki-Projekt und damit einen Korpus, aus dem ein (lokaler) Datensatz für den Thesaurus extrahiert werden kann. 1. Grundlagen 4 Korpus: Ein Korpus ist im Kontext dieser Arbeit eine Sammlung von Wiki-Seiten, die Gegenstand der Analyse zwecks Erzeugung eines (lokalen) Datensatzes für den Thesaurus sein kann. Ein Korpus ist immer einer Sprache und einem Wiki-Projekt zugeordnet; mit dem einer Sprache zugeordneten Korpus ist daher die Menge von Wiki-Seiten gemeint, die in dem zu der Sprache gehörigen Wikipedia-Projekt enthalten sind. Seite: Eine (Wiki-)Seite ist eine (Wiki-)Text-Ressource mit einem eindeutigen Namen innerhalb einesWiki-Projektes und damit einer eindeutigen URL. Sie kann analysiert werden, um aus ihr Informationen zu gewinnen, die dann zum Aufbau eines Thesaurus verwendet werden können (siehe .8). Im Folgenden werden die Namen von Wiki-Seiten serifenlos und kursiv gesetzt, zum Beispiel: Sprachwissenschaft. Artikel: Ein Artikel ist eine Wiki-Seite, die ein Konzept definiert. Nicht alle Seiten sind Artikel, prominente Gegenbeispiele sind Weiterleitungen (Redirects), Begriffsklärungen (Disambiguations) und Kategorien (siehe .1.2, .8.5); weitere Gegenbeispiele sind Wiki- Seiten, die im Zuge dieser Arbeit nicht betrachtet werden, wie zum Beispiel Benutzerseiten. Konzept: Ein Konzept ist im Kontext dieser Arbeit ein (abstrakter oder konkreter) Betrachtungsgegenstand, in der Wikipedia insbesondere Gegenstand von Artikeln. Konzepte haben eine Menge von Termen als Bezeichnungen, sie sind somit die Bedeutung der ihnen zugeordneten Terme, also das Bezeichnete (auch Signifikat, fr. Signifé) im Sinne der Semiotik de Saussures [DE SAUSSURE (2001), S. 76FF]. Ein wesentlicher Aspekt dieser Arbeit ist es, diese Beziehung zwischen Konzept und Term zu explizieren, also eine Bedeutungsrelation aufzubauen. Gemeinsam mit den Beziehungen zwischen Konzepten bildet die Bedeutungsrelation einen konzeptorientierten Thesaurus [MATTHEWS (2003)] (siehe .4.2). Im Folgenden werden die Namen von Konzepten in Kapitälchen gesetzt, zum Beispiel: SPRACHWISSENSCHAFT. Term: Ein Term ist im Kontext dieser Arbeit ein Wort oder eine Wortgruppe bzw. Phrase, die benutzt wird, um auf ein Konzept Bezug zu nehmen—das heißt, er ist eine Bezeichnung für ein Konzept, also das Bezeichnende (auch Signifikant, fr. Signifiant) im Sinne der Semiotik de Saussures [DE SAUSSURE (2001), S. 76FF]. Unterschiedliche Wortformen und Schreibweisen werden dabei als unterschiedliche Terme betrachtet, selbst dann, wenn sie sich nur in der Großschreibung unterscheiden. Die Bedeutungsrelation zwischen Termen und Konzepten ist ein wesentlicher Aspekt dieser Arbeit (siehe .4.2 und .8.9). Im Folgenden werden Terme kursiv und in Anführungszeichen gesetzt, zum Beispiel: „Sprachwissenschaft“. Dump: Ein (Wikipedia-)Dump ist eine Datei, die eine Menge von Wikipedia-Seiten enthält, das heißt, sie beinhaltet den Wiki-Text der betreffenden Seiten sowie die dazugehörige Meta-Information, eingebettet in eine dafür entworfene XML-Struktur [MW:XML]. Dumps der Wikipedia-Inhalte werden periodisch alle paar Monate erstellt und zur freien Weiternutzung angeboten [WM:DOWNLOAD]. Es gibt für jede Wikipedia unterschiedliche Dumps, die verschiedene Mengen von Seiten enthalten. Für diese 1. Grundlagen 5 Arbeit sind diejenigen Dumps relevant, die alle Seiten im Hauptnamensraum (die „Artikel“) sowie alle Kategorieseiten beinhalten, wobei nur die aktuelle Revision jeder Seite benötigt wird. Die für diese Anwendung zugeschnittenen Dumps folgen dem Namensschema wikiname-datum-pages-articles.xml, also zum Beispiel dewiki-20080320-pages-articles.xml für den Dump der deutschsprachigen Wikipedia vom 20. März 2008, der die aktuelle Version aller Seiten im Hauptnamensraum sowie Kategorien und Vorlagen enthält. Datensatz: Im Zusammenhang dieser Diplomarbeit ist ein Datensatz eine Sammlung von Informationen über Konzepte und Terme und ihre Beziehungen zueinander. Datensätze gibt es in zwei Ausprägungen: Lokale (sprachspezifische) Datensätze enthalten die Daten, die aus einem Korpus in einer bestimmten Sprache extrahiert wurden, sie repräsentieren damit einen monolingualen Thesaurus (siehe .4.2). Globale Datensätze kombinieren mehrere lokale Datensätze zu einem multilingualen Thesaurus, indem sie äquivalente Konzepte aus den einzelnen Sprachen zu jeweils einem sprachunabhängigen Konzept zusammenfassen (siehe .4.3). Datensätze werden typischerweise nach dem Wiki benannt, auf dessen Basis sie erstellt wurden. Kollektion: Im Zusammenhang dieser Diplomarbeit ist eine Kollektion eine Menge von Datensätzen, die zusammen einen multilingualen Thesaurus bilden. Eine Kollektion enthält einen lokalen Datensatz pro betrachteter Sprache sowie einen globalen Datensatz, der die Konzepte aus den lokalen Datensätzen miteinander verbindet. Wie in .10.1 beschrieben, wird der Name der Kollektion verwendet, um einen universell eindeutigen Bezeichner (URI) für den Datensatz zu erzeugen. Es ist daher zweckmäßig, aussagekräftige und eindeutige Namen für Kollektionen zu verwenden, insbesondere solche, die Informationen über die verwendeten Wikis, deren Version und eventuelle thematische Ausschnitte enthalten. 1.2. Wikipedia Wikipedia ist eine Online-Enzyklopädie, die von Tausenden von Benutzern in Kollaboration erstellt wird [FIEBIG (2005)]. Sie beruht auf dem „Wiki-Prinzip“, also der Idee, dass jeder, auch ohne Anmeldung, die Inhalte sofort bearbeiten und erweitern kann [LEUF UND CUNNINGHAM (2001)].Wikipedia verwendet zu diesem Zweck die MediaWiki-Software [MW:ABOUT], die von der Wikimedia Foundation [WM:ABOUT] für diesen Zweck entwickelt wird. Wikipedia zählt Anfang 2008, nur sieben Jahre nach ihrer Gründung im Jahre 2001, mit bis zu fünfundsechzigtausend Seitenaufrufen pro Sekunde zu den zehn meistgenutzten Webseiten weltweit [WM:SURVEY (2008), WM:10M (2008)]. Wikipedia-Projekte gibt es in über 250 Sprachen mit insgesamt über zehn Millionen Artikeln1 [WM:10M (2008), M:SITES, WM:PROJECTS], davon über 1Nach der internen Zählweise von MediaWiki: Alle Artikel im Hauptnamensraum, die keine Weiterleitung sind und mindestens einen Wiki-Link enthalten; Begriffsklärungsseiten werden also mitgezählt. 1. Grundlagen 6 zwei Millionen in der englischsprachigen und über siebenhunderttausend in der deutschsprachigen Wikipedia [WM:2M (2007), WP:STATS]. Alle Inhalte sind unter der GFDL lizenziert [GFDL] und damit frei verwendbar [OKD, FCW]. Der gesamte Korpus der Wikipedia wird periodisch als XML [MW:XML] in so genannte Dumps exportiert und zur Weiternutzung angeboten [WM:DOWNLOAD]. Die kollaborative Natur von Wikipedia erlaubt eine hohe Aktualität der Inhalte sowie ein rapides Wachstum der thematischen Abdeckung. Die Anzahl der Seiten in einer Sprache folgt in der Regel zunächst einer exponentiellen Wachstumskurve [VOSS (2005B)] und scheint sich mittlerweile zu linearem Wachstum abzuflachen [WP:STATS]. Für die Zukunft ist damit zu rechnen, dass sich das Wachstum noch weiter verlangsamt, so dass sich insgesamt eine logistische Funktion(„S-Kurve“) für dasWachstum ergibt. Die Qualität einzelner Artikel in der Wikipedia ist recht unterschiedlich, insgesamt jedoch mit der Qualität traditioneller Enzyklopädien vergleichbar [GILES (2005)]. Einträge in der Wikipedia sind recht uniform und folgen gewissen Konventionen: insbesondere beschreibt jede Seite genau ein Konzept [WP:ARTIKEL] (Ausnahmen sind Weiterleitungen und Begriffsklärungsseiten, siehe unten) und beginnt mit einer Begriffsdefinition (Glosse) [WP:WSIGA]. Da es sich bei der Wikipedia um eine Enzyklopädie handelt, enthält sie vor allem Substantive, Nominalphrasen und Eigennamen; Verben und Adjektive kommen dagegen kaum vor. Für eine Verwendung im Bereich des Information Retrieval ist das kaum problematisch (und eventuell sogar von Vorteil), da zur Klassifikation und Indexierung von Dokumenten ohnehin hauptsächlich Substantive verwendet werden, weil diese gut geeignet sind, den thematischen Inhalt eines Dokumentes wiederzugeben, siehe [SYED U. A. (2008), HEPP U. A. (2006), EIRON UND MCCURLEY (2003)] sowie [WP:V]. Insbesondere enthält die Wikipedia im Gegensatz zu manuell erstellten Thesauri und Wörterbüchern eine große Zahl von Einträgen über Orte, Personen, Werke und Organisationen — sie eignet sich daher besonders, um Informationen zu Eigennamen (proper nouns bzw. Named Entities) zu finden. Auch enthält sie eine Vielzahl von Fachausdrücken aus den verschiedensten Fachbereichen, die in der Regel in allgemeinen Thesauri und Wörterbüchern nicht enthalten sind. Eine weitere Eigenheit der Wikipedia betrifft die Granularität ihrer Einträge: zwar deckt die Wikipedia einen weiten Bereich menschlichenWissens ab, da sie aber eine Enzyklopädie ist, bleiben die Einträge aus lexikographischer Sicht eher grob: zum Beispiel werden die Begriffe „physikalisch“ und „Physiker“ mit unter den Eintrag für „Physik“ gefasst. Diese Art von Ungenauigkeit ist aber in Hinblick auf die Indexierung und Klassifikation von Dokumenten, also für eine „oberflächliche“ Analyse von Texten, eher hilfreich als schädlich (vergleiche [IDE UND VERONIS (1998), S. 22] und [WILKS U. A. (1996), S. 59]). Die fachliche, taxonomische Granularität aber (ob z. B. die „Atomphysik“ einen eigenen Artikel hat oder mit unter „Physik“ behandelt wird) hängt vor allem von der Gesamtgröße der Wikipedia ab und variiert damit stark zwischen den verschiedenen Sprachen — ein Umstand, den es bei der Erstellung des globalen Datensatzes zu berücksichtigen gilt (siehe .4.3 und .9.2). Weitere Funktionen, Eigenschaften und Konventionen, die Wikipedia zu einer exzellenten Ressource für lexikalisch-semantische Informationen machen und im Zusammenhang mit dieser Arbeit wichtig sind, seien im Folgenden genannt: Seiten: Ein Wiki enthält ein Netzwerk von (Hypertext-)Seiten, die untereinander eng über Hyperlinks verknüpft sind [BELLOMI UND BONATO (2005B)]. Jede Seite hat einen eindeutigen 1. Grundlagen 7 Namen, über den sie innerhalb des Wikis über Wiki-Links angesprochen werden kann [LEUF UND CUNNINGHAM (2001)] und der als URL-Suffix dient, so dass eine eindeutige URI [RFC:3986 (2005)] für diese Seite entsteht. Der Name der Seite ist in derWikipedia das enzyklopädische Lemma des Artikels. Im Zuge der vorliegenden Arbeit wird der Seitenname als eindeutiger Bezeichner sowohl für die Seite (also Ressource) als auch für das Konzept, das auf der Seite beschrieben wird, verwendet [W3C (2005), BERNERS-LEE (1998)].Welches von beiden gemeint ist, ist im Kontext eindeutig, für eine externe Darstellung muss aber klar zwischen diesen unterschieden werden; mehr dazu in Kapitel .10. Für den Fall, dass die „natürliche“ Bezeichnung zweier Konzepte derselbe Term ist, wird durch einen sogenannten Klammerzusatz als Qualifikator ein eindeutiges Lemma geschaffen (ein Klammer-Lemma) [WP:NK]. So wird zum Beispiel zwischen Bock_(Gestell), Bock_(Turngerät), Bock_(Insel) und Bock_(Dudelsack) sowie Bock_(Familienname) unterschieden (das Tier dagegen wird unter Huftiere behandelt). In einem solchen Fall gibt es zusätzlich eine Begriffsklärungsseite (siehe unten), die diese Bedeutungen aufzählt — sie würde entweder den Namen ohne Klammerzusatz tragen (Bock), oder den Zusatz „Begriffsklärung“ (also Bock_(Begriffsklärung)) [WP:BKL]. Wiki-Text: Wikis verwenden eine Markup-Sprache, genannt Wiki-Text, die sich im Funktionsumfang an HTML orientiert, aber leichter für Menschen zu lesen und zu bearbeiten sein soll [LEUF UND CUNNINGHAM (2001)]. „Wiki-Text“ ist als allgemeine Bezeichnung zu verstehen, die konkreten Markup-Sprachen verschiedener Wiki-Systeme unterscheiden sich zum Teil erheblich voneinander. Im Kontext dieser Arbeit ist mit Wiki-Text die von MediaWiki verwendete Markup-Sprache gemeint (.A). Beispiele für Wiki-Text werden im Folgenden kursiv in einer nichtproportionalen Schrift gesetzt, zum Beispiel: [[Sprachwissenschaft]]. Die Art und Weise, wie Wiki-Markup in der Wikipedia verwendet wird [WP:WSIGA], ist im Vergleich zu Webseiten im Allgemeinen relativ reich an Semantik. Insbesondere die Verwendung von Vorlagen sowie die Zuweisung von Kategorien sind im Kontext dieser Arbeit sehr nützlich. Wiki-Links: Ein wichtiger Aspekt von Wikis ist die leichte Verknüpfbarkeit von Seiten untereinander [WP:V]. MediaWiki verwendet für diesen Zweck Wiki-Links, die als Name des Zielartikels in doppelten eckigen Klammern geschrieben werden, z. B. [[Sprache]]. Die Syntax ist in .A.3 genauer beschrieben. Wiki-Links, die auf eine Seite zeigen, die nicht existiert, werden von MediaWiki rot dargestellt. Solche „roten Links“ sind nicht als Fehler zu werten, sondern vielmehr als ein Hinweis auf fehlende Inhalte [WP:RL]. Der Link-Text ist eine wichtige Quelle für die Zuordnung von Termen (dem Link-Text) zu Konzepten (dem Link-Ziel), das heißt, für den Aufbau der Bedeutungsrelation (siehe .8.7): Der Link-Text verhält sich zum Link-Ziel ähnlich wie der Titel der Seite (also das Lemma) zu ihrem Inhalt (dem Konzept) [MIHALCEA (2007)] sowie [CRASWELL U. A. (2001), EIRON UND MCCURLEY (2003), KRAFT UND ZIEN (2004)]. Namensräume: MediaWiki unterstützt (und Wikipedia nutzt) Namensräume für Wiki-Seiten, um Seiten mit unterschiedlicher Funktion voneinander zu trennen und Namenskonflikte zu 1. Grundlagen 8 vermeiden [WP:NS]. MediaWiki gibt eine Anzahl von Namensräumen fest vor, darunter solche für Benutzerseiten, Projektseiten, Hilfeseiten, Kategorien und einige mehr [MW:NS]. Jedem Namensraum ist zudem ein entsprechender Diskussionsnamensraum zugeordnet (und jeder Seite entsprechend potentiell eine Diskussionsseite, die dazu dient, die Arbeit an der Seite zu koordinieren). Namensräume werden über einen Präfix am Seitennamen adressiert: Der Link [[Hilfe:Formatieren]] verweist auf eine Seite im Namensraum Hilfe, die sich mit Textformatierung befasst. Die Namen (Präfixe) der Namensräume sind sprachabhängig, eine Liste der Namen der verwendeten Namensräume ist in jedem XML-Dump enthalten. Der eigentliche Inhalt des Wikis, im Falle der Wikipedia die enzyklopädische Information, befindet sich auf Seiten im Hauptnamensraum, dem kein Präfix (oder genauer, der leere String als Präfix) zugeordnet ist. Seiten im Hauptnamensraum werden auch als Artikel bezeichnet, insbesondere dann, wenn sie keine Weiterleitungen und keine Begriffsklärungen sind, wenn sie also ein Konzept beschreiben. Solche Artikel beinhalten das Sachwissen der Wikipedia. Interwiki-Links: Auch Verknüpfungen auf andereWikis sind mittels sogenannter Interwiki-Links bequem möglich: für jedes Wiki, das als Ziel von Interwiki-Links dienen soll, muss dafür ein Präfix zugewiesen werden, der bei der Definition des Wiki-Links verwendet wird (siehe .A.3). Language-Links: Interwiki-Links mit bestimmten Präfixen, die als Sprachcodes definiert sind, werden besonders behandelt: Sie werden als Verknüpfungen auf eine äquivalente Seite in einer anderen Sprache in einem anderen Wiki interpretiert (siehe .A.3). Kategorien: Kategorien erlauben es, Wiki-Seiten zu Gruppen zusammenzufassen. Eine Seite kann zu beliebig vielen Kategorien gehören und jeder Kategorie ist eine Kategorieseite zugeordnet, über die sie beschrieben und selbst wieder Kategorien zugeordnet werden kann [WP:KAT]. Um einer Seite eine Kategorie zuzuweisen, wird auf der Seite einfach ein Wiki- Link auf diese Kategorie eingefügt, siehe .A.3. Sort-Keys (Sortierschlüssel), die bei der Zuweisung von Kategorien angegeben wurden, sind eine wichtige Quelle für die Terme, die einem Konzept zuzuordnen sind (siehe auch .9.1). Per Konvention bilden Kategorien in der Wikipedia eine thematische Polyhierarchie [WP:KAT], sie lassen sich damit als semantische Relation der Über- bzw. Unterordnung (Subsumtion) zwischen den von den Seiten beschriebenen Konzepten interpretieren. Zum Beispiel wäre das speziellere Konzept UNSINN dem allgemeineren Konzept SEMANTIK untergeordnet. Dabei ist die Art der Unterordnung unspezifiziert, die Relation bildet also keine Taxonomie und lässt sich auch nur sehr eingeschränkt in Ontologien verwenden (vergleiche [PONZETTO UND STRUBE (2007B)]). Diese Relation entspricht der Hyponym-Relation in einem klassischen, Term-basierten Thesaurus, bzw. der NT/BT-Relation nach ISO 2788 [ISO:2788 (1986)]. Sie bildet zusammen mit der Bedeutungsrelation den Kern des Thesaurus (siehe .4.2). Zu beachten ist dabei, dass die MediaWiki-Software Zyklen in der Kategoriestruktur zulässt—diese sind zwar per Konvention unerwünscht, können aber vorkommen und müssen bei der Erstellung des Thesaurus entfernt werden (siehe .9.1.3). 1. Grundlagen 9 Neben den inhaltlich relevanten Kategorien existieren in der Wikipedia eine Vielzahl von Wartungskategorien wie zum Beispiel Kategorie:Wikipedia:Lückenhaft, die sich auf die Seite beziehen, nicht auf das beschriebene Konzept. Solche Kategorien sollten zur Erstellung eines Thesaurus nicht verwendet werden und werden daher beim Import nach Möglichkeit ignoriert (siehe .9.1). Weiterleitungen: Weiterleitungen (Redirects) definieren einen Alias für einen Seitentitel (siehe .A.6 für eine Beschreibung der Syntax). Eine Wiki-Seite kann über diesen Mechanismus unter mehreren Namen erreichbar sein. Zum Beispiel könnte USA eine Weiterleitung auf Vereinigte Staaten von Amerika sein [WP:WL]. Weiterleitungen sind eine wichtige Quelle für Informationen darüber, welche alternativen Bezeichnungen (Terme) für welche Konzepte verwendet werden (.A.6). Vorlagen: MediaWiki unterstützt Vorlagen (Templates) als eine Methode, den Inhalt einer Wiki- Seite in eine andere einzubinden (siehe .A.5). Beim Einbinden von Vorlagen können sogenannte Vorlagen-Parameter verwendet werden: Sie erlauben es, beim Einbinden konkrete Werte anzugeben, die dann für Platzhalter eingesetzt werden, die im Wiki-Text der Vorlage verwendet wurden [WP:VOR]. Vorlagen werden in der Wikipedia für verschiedene Zwecke benutzt: zur einheitlichen Anzeige von strukturierten Daten (in sogenannten Infoboxen oder Taxoboxen [WP:IB]), als Navigationselement zu verwandten Themen (sogenannten Navileisten, [WP:NAVI]), als Markierung für Probleme mit einer Seite, als Formatierungshilfe im laufenden Text sowie für diverse andere Zwecke [WP:TB]. Unter anderem werden Vorlagen auch verwendet, um besondere Arten von Seiten zu kennzeichnen, insbesondere zum Beispiel Begriffsklärungsseiten. Sie sind daher besonders nützlich, um solche besonderen Seiten zu erkennen. Vorlagen sind Gegenstand diverser Arbeiten über die Wikipedia, insbesondere können Infoboxen leicht für eine Wissensextraktion verwendet werden, die Eigenschaft-Wert-Paare für die Eigenschaften des Artikelgegenstandes liefert (z. B. bei Auer u. a. (2007), siehe auch .2.5). In der vorliegenden Arbeit werden Vorlagen jedoch fast ausschließlich zur Identifikation von Ressourcen- und Konzepttypen verwendet (siehe .8.5 bzw. .8.6 sowie .8.4). Magic Words: MediaWiki verwendet zwei Arten von Magic Words: „Variablen“, die Zugriff auf kontext- oder projektspezifischeWerte bieten und „Optionen“, die die Verarbeitung der Seite beeinflussen (siehe .A.6). Die meisten Magic Words werden für den Zweck dieser Arbeit ignoriert; manche Variablen aber, insbesondere eben der Seitenname, werden vor der Bearbeitung durch den betreffenden konkreten Wert ersetzt (siehe .8.3). Einige weitere werden ähnlich wie Vorlagen interpretiert, um zusätzliche Informationen zu gewinnen — Beispiele hierfür sind {{DISPLAYTITLE:...}} und {{DEFAULTSORT:...}} (vergleiche .8.4). Ein weiteres Beispiel für Magic Words, die vonWikiWord verwendet werden, sind die Markierungen für Weiterleitungsseiten, siehe .A.6. Extension-Tags und Parser-Functions: MediaWiki bietet zwei Möglichkeiten für die Erweiterung des Wiki-Text-Markups an: Extension-Tags verwenden Tags der Form 1. Grundlagen 10 <mytag>...</mytag>, Parser-Functions verwenden vorlagenartige Strukturen der Form {{#mytag:argument}} (siehe auch .A.7). Beide Formen werden bei der Analyse von Wiki-Text im Rahmen dieser Arbeit vollständig ignoriert (siehe .8.3). Begriffsklärungen: Begriffsklärungsseiten (Disambiguierungen) sind eine wichtige Konvention in Wikipedia-Projekten: Gibt es mehrere unterschiedliche Bedeutungen zu einem Term, so wird für diesen Term eine Begriffsklärungsseite angelegt, die alle Bedeutungen des Terms aufzählt [WP:BKL]. Dazu wird in der Regel eine Listenstruktur verwendet, die in jeder Zeile eine Glosse für eine der Bedeutungen hat und auf den entsprechenden Artikel verweist. Wie schon oben erwähnt, wird die Begriffsklärungsseite entweder direkt mit dem fraglichen Term als Name angelegt oder mit dem Zusatz (Begriffsklärung) —in letzterem Fall enthält per Konvention die Seite ohne Namenszusatz (die Seite zur Hauptbedeutung des Terms) einen Verweis auf die Begriffsklärungsseite. Wie auch Weiterleitungen sind Begriffsklärungen im Kontext dieser Arbeit eine wichtige Quelle für die Bedeutungsrelation, also um alle Bedeutungen eines Terms und umgekehrt alle Bezeichnungen für ein Konzept zu finden (siehe .8.10). 1.3. Thesauri Ein Thesaurus ist traditionell eine Sammlung von Termen (Wörtern), ihrer Beziehungen und Definitionen. Die verschiedenen Beziehungen dienen insbesondere dazu, den passendsten Term für einen Gegenstand, das heißt, die beste Bezeichnung für ein Konzept zu finden. Ein Thesaurus ist daher besonders als Struktur für ein kontrolliertes Vokabular geeignet, das zur Indexierung von Dokumenten verwendet werden soll. Thesauri definieren in der Regel zumindest eine Äquivalenzbeziehung zwischen synonymen und pseudo-synonymen (also für den Zweck der Indexierung gleichwertigen) Termen, eine (poly-)hierarchische Subsumtionsbeziehung zwischen allgemeinen und speziellen Termen sowie häufig eine Assoziationsbeziehung zwischen semantisch verwandten Termen [STOCK (2007), S. 283FF]. Die ISO definiert insbesondere die folgenden Relationen [ISO:2788 (1986)]: UF bzw. USE: Used For bzw. Use gibt an, dass ein Term anstelle eines anderen verwendet werden soll — über diese Relation wird der Deskriptor (Preferred Term) aus einer Menge von (Pseudo-)Synonymen (einem sogenannten SynSet) festgelegt. BT bzw. NT: Broader Term bzw. Narrower Term gibt an, dass ein Term allgemeiner bzw. spezieller als ein anderer, das heißt, ein Hyperonym bzw. Hyponym zu diesem ist. RT: Related Term gibt an, dass ein Term mit einem anderen semantisch verwandt ist. Diese Beziehung besteht häufig unter anderem zwischen Kohyponymen. Synonyme können so direkt modelliert werden, Homonyme dagegen nicht: häufig werden sie disambiguiert, indem ein Qualifikator als Zusatz angehängt wird, entweder direkt als Teil des Terms oder über eine spezielle Relation. 1. Grundlagen 11 Die hierarchische Beziehung (Hyponymiebeziehung) in einem Thesaurus ist häufig als Taxonomie angelegt, also als eine strenge thematische Gliederung, über die Terme in Sachgebiete eingeordnet werden. Die Hyponymiebeziehung kann auch als Polyhierarchie angelegt sein, so dass sich insgesamt ein gerichteter, azyklischer Graph als Struktur bildet, anstelle eines einfachen Baums. Die Semantik der Hyponymiebeziehung ist in der Regel nicht weiter spezifiziert, meist handelt es sich um eine Vermengung der Abstraktionsbeziehung (subtype), der Instanzbeziehung (is-a), der Aggregationsbeziehung (part-of) und gelegentlich der Attributbeziehung (property-of) [VOSS (2006), PONZETTO (2007)]. Im Kontext der automatischen Verarbeitung von Wissen, Sprachen und Dokumenten erweist es sich als hilfreich, eine weitere Ebene der Indirektion einzuführen und so zu einem „konzeptorientierten Thesaurus“ zu gelangen, der auf einem Konzept-Term-Netzwerk basiert statt auf einem reinen Netzwerk von Termen [JOHNSTON U. A. (1998), MATTHEWS (2003), W3C (2005)]. So ergibt sich ein Wissensorganisationssystem (Knowledge Organisation System, KOS). Dieses Modell scheint insbesondere auch besser auf die Datenstruktur derWikipedia zu passen: Es werden die semantischen Beziehungen zwischen Konzepten direkt modelliert und zusätzlich angegeben, welche Terme zu welchem Konzept gehören (vergleiche [VAN ASSEM U. A. (2006), GREGOROWICZ UND KRAMER (2006)]). Die Beziehungen zwischen Termen (Homonym, Synonym) ergeben sich dann implizit (.4.2). Ein ähnliches Modell wird auch von WordNet verwendet, in dem Konzepte durch SynSets repräsentiert und semantische Beziehungen zwischen SynSets statt zwischen Termen modelliert werden [MILLER (1995), FELLBAUM (1998), WORDNET]. In einem solchen konzeptorientierten Thesaurus gibt es nun vor allem die folgenden Beziehungen: Bedeutung: Verbindet einen Term mit einer Anzahl von Konzepten (Bedeutungen), bzw. ein Konzept mit einer Anzahl von Termen (Bezeichnungen). Daraus ergibt sich implizit die Synonymie oder Homonymie von Termen. Subsumtion: Verbindet allgemeinere mit spezielleren Konzepten, analog zu der Hyponymierelation zwischen Termen. Verwandtheit: Verbindet verwandte Konzepte, z. B. solche, die zu einem gemeinsamen Themengebiet gehören oder häufig im selben Kontext verwendet werden. Ähnlichkeit: Verbindet ähnliche Konzepte, z. B. solche, die zu einem gewissen Grade austauschbar sind. Ähnliche Konzepte sind häufig Kohyponyme. Für eine Abgrenzung von semantischer Verwandtheit und Ähnlichkeit siehe [ZESCH U. A. (2007B)]. Die semantischen Beziehungen in einem solchen Thesaurus sind aber weiterhin relativ „schwach“: Wie schon oben für die Hyponymierelation, ist auch hier im Gegensatz zu den Relationen in einer Ontologie nichts über die Art der Subsumtion (Subtyp, Instanz, Teil etc.) oder der Verwandtheit bekannt [PONZETTO UND STRUBE (2007B), HEPP U. A. (2006)]. Auch können Relationen nicht reifiziert oder klassifiziert werden. Solche schwachen Beziehungen sind aber für die Zwecke des Information Retrieval in aller Regel ausreichend. Ziel dieser Diplomarbeit ist es nun, einen solchen konzeptorientierten Thesaurus auf Grundlage des Datenbestandes der Wikipedia vollautomatisch zu erstellen. 1. Grundlagen 12 1.4. Nutzen Der Nutzen von Thesauri (insbesondere der konzeptorientierten Art) für die automatische Sprachverarbeitung und für das Information Retrieval liegt in der Überbrückung der Semantic Gap zwischen dem bloßen Text als Folge von Zeichen und dem konzeptuellen Inhalt von Dokumenten [DAVULCU U. A. (2006), GREGOROWICZ UND KRAMER (2006)]. Handelt es sich um einen multilingualen Thesaurus, kann auf dieseWeise auch die Kluft zwischen verschiedenen Sprachen überwunden werden: Verschiedene Terme (Wörter und Phrasen) aus verschiedenen Sprachen werden auf eine relativ kleine Menge wohldefinierter Konzepte abgebildet, die untereinander in Beziehung stehen. Die in einem Dokument behandelten Konzepte werden so einer automatischen Analyse zugänglich. Konkret kann ein maschinenlesbarer, multilingualer, konzeptorientierter Thesaurus insbesondere in den folgenden Bereichen nützlich sein: 1. Für das klassische Information Retrieval ist es vorteilhaft, statt Termen abstrakte Konzepte für die Indexierung von Dokumenten verwenden zu können: so lassen sich Unterschiede in Sprache und Terminologie leicht überbrücken. Häufig werden Konzepte als Mengen von Termen modelliert, die durch Clustering-Verfahren gewonnen wurden, wie beim Latent Semantic Indexing (LSI) [DEERWESTER U. A. (1990), KUMAR U. A. (2006)]. Die Verwendung eines konzeptorientierten Thesaurus erlaubt es dagegen, menschliches Wissen über die Zuordnung von Termen zu Konzepten zu nutzen (siehe .2.4 und insbesondere [MILNE UND NICHOLS (2007)]). Neben der klassischen Dokumentensuche profitieren auch Aufgaben wie Resource Selection und Topic Tracking von diesem Ansatz. 2. Ein Thesaurus auf Basis der Wikipedia eignet sich besonders für die Named Entity Recognition (NER), da Wikipedia im Gegensatz zu klassischen Wörterbüchern eine große Zahl von Einträgen zu Orten, Personen und Organisationen hat (siehe .2.6). 3. Die Informationen über ähnliche, verwandte und übergeordnete Konzepte, die in einem Thesaurus enthalten sind, können unter anderem für eine gezielte Query Expansion verwendet werden [MILNE UND NICHOLS (2007)]. Es ist zu erwarten, dass dies besonders dann effektiv ist, wenn die Indexierung und Abfrage anhand von Konzepten statt von Termen erfolgt, da so Mehrdeutigkeiten vermieden werden können [SYED U. A. (2008)]. 4. Die Verwandtheitsbeziehungen zwischen Konzepten können auch verwendet werden, um Terme im Kontext zu disambiguieren: Für eine Menge von Termen kann die Bedeutung jedes Terms so gewählt werden, dass die Bedeutungen (Konzepte) gut zueinander passen — auf diese Weise lässt sich mit großer Wahrscheinlichkeit die intendierte Bedeutung der Terme finden [MIHALCEA (2007), STRUBE UND PONZETTO (2006), CUCERZAN (2007)], siehe .2.3. Diese Bedeutungszuweisung ist neben der Anwendung auf Suchanfragen auch wichtig bei der Wissensextraktion, dem Topic Tracking sowie der automatischen Übersetzung. 5. Ein multilingualer Thesaurus kann auch als Basis für ein Übersetzungswörterbuch oder gar ein automatisches Übersetzungssystem dienen. Die aus der Wikipedia gewonnenen Informationen bieten hier eine nützliche Ergänzung zu traditionellen Wörterbüchern, da sie 1. Grundlagen 13 eine große Zahl von Fachbegriffen sowie viele Namen für Orte und Personen abdecken, die in manuell gepflegten Wörterbüchern in der Regel fehlen. 6. Ein aus der Wikipedia gewonnener multilingualer Thesaurus kann auch als Basis für eine (teil-)manuelle Erstellung von Wörterbüchern, Taxonomien und Ontologien dienen. Für Ontologien und Wissensrepräsentationssysteme wie DBpedia oder YAGO kann es auch möglich sein, Informationen aus der Wikipedia automatisch zu integrieren (siehe .2.2 und .2.5). 7. Viele der weiter unten in .2 beschriebenen Systeme und Verfahren verwenden als Grundlage eine aus derWikipedia extrahierte Struktur, die deutlich weniger Informationen berücksichtigt als WikiWord. Sie könnten vermutlich davon profitieren, WikiWord als Werkzeug für die Extraktion der Wikipedia-Struktur zu verwenden, um dann die betreffenden Verfahren auf diese reichere Struktur anzuwenden. Ein wichtiger Aspekt des in der vorliegenden Diplomarbeit vorgeschlagenen Ansatzes ist es, dass der Aufbau des Thesaurus aus denWikipedia-Daten vollautomatisch und verhältnismäßig schnell2 erfolgt: Die manuelle Wartung eines Thesaurus ist sehr aufwändig und teuer, um so mehr, je mehr Fachgebiete der Thesaurus abdecken soll. So ist es kaum möglich, einen Thesaurus auf dem neusten Stand zu halten, insbesondere in Hinblick auf neue Technologien oder auch aktuell wichtige Organisationen und Personen. Schon deshalb decken die meisten Thesauri nur einen eng eingegrenzten Fachbereich ab und enthalten nur relativ wenige Terme bzw. Konzepte: WordNet zum Beispiel enthält etwa 117 000 Konzepte (SynSets) [WORDNET], MeSH kennt nur 24 767 Konzepte [MESH] (siehe auch .2.2). Ein Thesaurus, der automatisch aus Wikipedia-Daten erstellt wird, hat diese Probleme nicht: Wikipedia ist sehr aktuell und deckt sehr weite Bereiche des menschlichenWissens ab [RUIZ-CASADO U. A. (2005), VOSS (2005B)] (WikiWord liefert etwa 6 Millionen Konzepte und 12 Millionen Terme für die englische Sprache, vergleiche .11.2). Insbesondere sind genau solche Themenbereiche abgedeckt, die im Augenblick besonders im öffentlichen Bewusstsein stehen und daher besonders interessant sind für das Information Retrieval (vergleiche [SYED U. A. (2008), HEPP U. A. (2006), MILNE UND NICHOLS (2007)]). Zudem stehen die Daten unter einer freien Lizenz und sind in einer Vielzahl von Sprachen verfügbar. Ein multilingualer, konzeptorientierter Thesaurus auf Wikipedia-Basis besitzt also das Potential, für wichtige Aufgaben des Information Retrieval und der automatischen Sprachverarbeitung eine breite, aktuelle und qualitativ hochwertige Datenbasis zu liefern. Außerdem kann er verwendet werden, um existierende, manuell gewartete Thesauri zu ergänzen und zu erweitern. 2Einige Tage bis Wochen auf einem üblichen Datenbanksystem, siehe .11.1.