Sentimentanalyse mit SentText

Eckdaten der Lerneinheit

• Anwendungsbezug: Lexikonbasierte Sentimentanalyse bedeutender griechischer Dramen (Der gefesselte Prometheus von Aischylos, Die Wolken von Aristophanes, Medea von Euripides), Epen (Odyssee und Ilias von Homer, Theogonia von Hesiodos) und Lyrik (Der goldene Esel von Apuleius, Metamorphosen von Ovid, Auf die Liebe von Anakreon)
• Methodik: Lexikonbasierte Sentimentanalyse
• Angewendetes Tool: SentText
• Lernziele: Zentrale Schritte der Korpuskonstituierung umsetzen, Hochladen der Texte und Kennenlernen der Analyseparameter, Analyse einzelner Texte und Interpretation der Analyseergebnisse, vergleichende Analyse der Homerischen Epen und Interpretation der Analyseergebnisse, manuelle Korrektur der Sentimentwerte, gattungstypologische Korpuskonstituierung, vergleichende Sentimentanalyse der drei Teilkorpora
• Dauer der Lerneinheit: 90 Minuten
• Schwierigkeitsgrad des Tools: einfach

Bausteine

• Anwendungsbeispiel
  In welcher textuellen Gestalt erscheinen Empfindungen in Homers Ilias und welche Stimmung bestimmt die Odyssee? Welche Stimmungen bestimmen unterschiedliche Werke der griechischen Antike – und lassen sich gattungstypologische Differenzen ausmachen? Führen Sie eine lexikonbasierte → Sentimentanalyse durch, bestimmen Sie den Sentimentgehalt eines eigens erstellten Antike-Korpus und entwickeln Sie aus Ihren Analyseergebnissen bzw. -visualisierungen erste Interpretationshypothesen.
• Vorarbeiten
  Wie gelangen Sie an Ihre Textbeispiele? Erfahren Sie, welche digitalen Repositorien Primärtexte für digitale Textanalysen zur Verfügung stellen und wie Sie die Texte herunterladen können.
• Funktionen
  Welche Funktionen bietet Ihnen → SentText? Lernen Sie die unterschiedlichen Module sowie deren Funktionen kennen und führen Sie eine Sentimentanalyse durch.
• Lösungen zu den Beispielaufgaben
  Haben Sie die Beispielaufgaben richtig gelöst? Hier finden Sie Antworten.

1. Anwendungsbeispiel

In dieser Lerneinheit werden Sie anhand unterschiedlicher Schriftzeugnisse der griechischen Antike die wichtigsten Elemente einer → lexikonbasierten Sentimentanalyse kennenlernen. Die Analyse zielt darauf ab, herauszufinden, welche Terminologie für die Beschreibung von Stimmungen in literarischen Texten unterschiedlicher Gattungen verwendet wird und welche Gefühlslagen die Erzählwelten bestimmen. Um unterschiedliche Analyseperspektiven auf sentimentbezogene Textmerkmale in dramatischen, epischen und lyrischen Texten der griechischen Antike werfen zu können, nutzen Sie das Textanalyetool SentText.
Als Textgrundlage dienen mehrere der wohl frühesten und bedeutendsten Epen, Dramen und Dichtungen der Weltliteratur, deren Wirkung bis in die Gegenwart reicht. Vor allem die Homerischen Epen gelten als Urquell der griechischen, römischen, byzantinischen und europäischen Kultur, deren Einfluss sich noch heute in der Denkweise der westlichen Welt widerspiegelt; Homers Werke bestimmen – mal mehr, mal weniger subtil – europäische Dichtung, Malerei, bildende Kunst und Literatur sowie Theater und Film (vgl. Latacz 2014). Gleichermaßen zählen die dramatischen Werke Aischylos’, Aristophanes’ und Euripides’ sowie die Gedichte Apuleius’, Ovids und Anakreons bis heute zu prägenden Werken der Literaturgeschichte. Aufgrund dieser Tiefenwirkung finden sich deutschsprachige Übersetzungen aller genannten sowie diverser weiterer Autoren der griechischen Antike im ansonsten auf die Langzeitarchivierung originär deutsprachiger Literatur ausgerichteten Textgrid Repository.
Diese Lerneinheit befähigt Sie zum adäquaten Einsatz von SentText. Sie behandelt grundlegende Fragestellungen der literaturwissenschaftlich ausgerichteten Sentimentanalyse. Darauf aufbauend können Sie eigenen Forschungsfragen nachgehen und die im Rahmen der Analyse herausgefilterten emotionsbezogenen Signalwörter bspw. als Grundlage für eine Emotionsanalyse heranziehen.

2. Vorarbeiten

Um die Methode kennenzulernen, der sich diese Lerneinheit widmet, lesen Sie zunächst den Methodeneintrag über → Sentimentanalyse. Lesen Sie hier im Anschluss die Besprechung des Textanalysetools SentText und machen sich auf diese Weise mit den wichtigsten Funktionen des Analysewerkzeugs vertraut. Die → Korpusbildung markiert neben der Herausbildung einer Forschungsfrage die Anfangsphase eines literaturwissenschaftlichen Projekts. In einem ersten Schritt erstellen wir also ein Antike-Korpus, welches Texte aller genannten Autoren beinhaltet.
Laden Sie sich die digitale Version der Ilias und der Odyssee herunter, indem Sie das Textgrid Repository aufrufen und dort eine Suchabfrage nach sämtlichen im Langzeitarchiv enthaltenen Texten Homers durchführen. Wählen Sie hierfür neben dem Eingabefeld für Suchabfragen am oberen rechten Bildschirmrand die Filterfunktion „Inhalte” und dann „...nach Autor” aus. Nun wird eine Liste aller im Repositorium enthaltener Autor*innen generiert. Scrollen Sie bis zu „Homer”, sehen Sie, dass das Archiv sechs seiner Werke beinhaltet. Um zu sehen, um welche Werke es sich handelt, klicken Sie auf „Homer” (vgl. Abb. 1).

SentText arbeitet ausschließlich mit Dateien im TXT- und XML-Format. Am linken Bildschirmrand können Sie unter der Kategorie „Dateityp” Ihre Suchabfrage weiter ausdifferenzieren. Klicken Sie in diesem Bereich auf „text/xml” (vgl. Abb. 2).

Jetzt erscheinen in der Listenansicht ausschließlich Dateien, deren Formate dem für unsere Analyse benötigten Typus entsprechen. An oberer Position der Liste wird bereits die Odyssee angeführt. Klicken Sie in dieser Kachel als nächstes auf den „Herunterladen”-Button. Nun öffnet sich ein neues Browserfenster, in dem die Odyssee im XML-Format angezeigt wird (vgl. Abb. 3). Wenn Sie etwas nach unten scrollen, wird deutlich, dass sich hinter allen – hier lilafarbenen – Programmierbefehlen unterschiedliche Textelemente verbergen.

Um die Datei auf Ihrem PC zu speichern, klicken Sie am obersten Bildschirmrand in die Menüleiste Ihres Computers und wählen unter dem Reiter „Datei” die Option „Seite speichern unter...” aus (vgl. Abb. 4). Legen Sie in dem „Sichern unter”-Textfeld einen aussagekräftigen Namen für die Datei fest (Autor_Titel) und speichern diese auf Ihrem Desktop ab, indem Sie Ihre Auswahl per Klick auf „Sichern” bestätigen (vgl. Abb. 4).

Dieserart verfahren Sie auch mit der Ilias: Per Mausklick auf das Pfeilsymbol im oberen linken Bildschirmbereich kehren Sie von der XML-Ansicht der Odyssee in den Auswahlbereich des Textarchivs zurück. Direkt unter der soeben heruntergeladenen Odyssee finden Sie eine digitale Variante der Ilias im XML-Format. Wählen Sie nun in der Ilias-Kachel den „Herunterladen”-Button aus und speichern das XML-Dokument über die Menüleiste Ihres Computers. Sollten Sie einen anderen Browser verwenden, kann der Downloadprozess leicht variieren. Bei Microsoft Edge klicken Sie zuerst auf „Odyssee", wählen in der linken Spalte unter „Herunterladen" aus den aufgelisteten Dateitypen „plain text (txt)" oder „Metadateien (xml)" aus und laden die Datei mit einem Rechtsklick unter „Ziel speichern unter..." herunter. Falls Sie mit Google Chrome arbeiten, öffnet sich dasFenster mit der txt- oder xml-Datei automatisch, anschließend können Sie den Text per Rechtsklick auf „Speichern unter..." als xml-Datei speichern. Kehren Sie nun auf die Startseite des TextGrid Repository zurück und laden auf die gleiche Weise (1. Alphabetisch geordnete Autorenliste aufrufen; 2. Autorenname auswählen; 3. Auswahl der Filterfunktion text/xml; 4. Herunterladen der XML-Datei; 5. Speichern auf dem Desktop) auch die übrigen der folgenden Texte herunter (vgl. Abb. 5):

Nun haben Sie die Bestandteile des Antike-Korpus im XML-Format auf Ihrem Desktop gespeichert und sind bereit für die Sentimentanalyse mit SentText. Das Tool arbeitet webbasiert und ohne Account-Pflicht. Klicken Sie hier, um auf die Startseite zu gelangen. Nun befinden Sie sich im „ABOUT”-Bereich, wo Tool und Funktionsweisen kurz vorgestellt werden. Lesen Sie die Einführung und kopieren im Anschluss probeweise die ersten Sätze des ersten Gesanges der Odyssee in das Demo-Feld:
„Sage mir, Muse, die Taten des vielgewanderten Mannes,
Welcher so weit geirrt nach der heiligen Troja Zerstörung,
Vieler Menschen Städte gesehn und Sitte gelernt hat [...].”

Aufgabe 1
Welche Wörter werden rot markiert, welche Wörter werden blau markiert und welche Stimmung assoziieren Sie mit den farblich hervorgehobenen Begriffen? Welches Wort scheint Ihnen eine besonders positive Gefühlslage zu repräsentieren und welches ist negativ konnotiert? Bringen Sie die Wörter – absteigend von positiv zu negativ konnotierten Wörtern – in eine Reihenfolge.

Aufgabe 2
Die Demoversion greift auf das Sentimentwörterbuch SentimentWortschatz (SentiWS) zurück. „heiligen” hat hier einen Sentimentwert von 0.0727, der Sentimentwert von „gelernt” beträgt 0.2492. „Zerstörung” hat einen Sentimentwert von –0.3578. Passen die errechneten Sentimentwerte zu Ihrer persönlichen Reihenfolge?

In den Aufgaben 1 und 2 haben Sie die Grundlagen der lexikonbasierten Sentimentanalyse in sehr reduzierter Form kennengelernt: Der Computer vergleicht Textdaten – den ersten Gesang der Odyssee – und Sentimentwörterbuch – SentiWS – miteinander und legt für die Schnittmenge (sämtliche im Text und im Wörterbuch enthaltenen Wörter) die Polarität (Verortung auf einer Skala von positiv bis negativ) und den Sentimentwert fest. Zurück zu SentText! Die Startseite setzt sich aus drei Sparten zusammen. Unter „DOCUMENTATION” finden Sie wichtige Informationen über verschiedene Parameter, die bei der Analyse berücksichtigt werden. Nehmen Sie sich einen Augenblick Zeit, um die unterschiedlichen Einflussgrößen zu begutachten und behalten Sie diese im Hinterkopf; sie bestimmen die Analyseergebnisse und -visualisierungen und beeinflussen dadurch schlussendlich auch Ihre Interpretation.
Klicken Sie nun auf den mittleren Reiter „SENTIMENT ANALYSIS”. Jetzt befinden Sie sich in dem Bereich, in dem Sie Ihre Texte hochladen und den Analyseprozess in Gang setzen (vgl. Abb. 6).

Klicken Sie zunächst im Upload-Bereich auf „Durchsuchen...” (vgl. Abb. 6, Punkt 1). Navigieren Sie zu Ihrem Desktop, wo Sie die neun XML-Dateien abgelegt haben. Aktivieren Sie die Strg- oder Ctrl-Taste und halten Sie diese gedrückt, während Sie per Mausklick alle neun Textdateien für die Analyse auswählen. Bestätigen Sie Ihre Auswahl via Mausklick auf „Öffnen” (vgl. Abb. 7).

Wie Sie sehen, zeigt SentText nun die Anzahl der für die Analyse ausgewählten Dateien an. Rechts neben dem Upload-Bereich können Sie festlegen, auf welches Sentimentwörterbuch das Tool bei der Analyse zurückgreifen soll (vgl. Abb. 6, Punkt 2). Zur Auswahl stehen SentiWS der Universität Leipzig und die Berlin Affective Wordlist – Reloaded der Freien Universität Berlin. Darüber hinaus können Sie in diesem Bereich ein eigenes Wörterbuch einspeisen. Hierbei handelt es sich um ein wichtiges Feature, da sich auf diese Weise bspw. historisch gewachsene orthographische Besonderheiten in die Analyse einbeziehen lassen. In dieser Lerneinheit greifen wir zunächst auf SentiWS zurück, welches sich als verlässliche Grundlage für lexikonbasierte Sentimentanalysen literarischer Texte erwiesen hat (vgl. Schmidt & Burghardt 2018, 144 f.). Sie behalten die Voreinstellungen also bei. Klicken Sie nun auf den „More options (advanced user)”-Button (vgl. Abb. 7, Punkt 3). Hier sehen Sie unterschiedliche Einstellungen, mit denen Sie die Analyse in Zukunft anpassen können. In diesem Bereich können Sie u. a. die Stoppwortliste erweitern und auf diese Weise für die Analyse irrelevante Wörter ausschließen (bspw. Regieanweisungen, Auftritte, Abgänge oder andere Elemente des Nebentextes in Dramen). Für den ersten Durchlauf der Analyse greifen Sie auf die bereits aktivierten Voreinstellungen zurück. Starten Sie nun per Klick auf „ANALYZE!” die Sentimentanalyse. Die Analyse aller Dateien dauert nur einen kurzen Moment (vgl. Abb. 8). Sollten Sie Dateien größeren Umfangs hochladen oder andere Analyseparameter auswählen, kann dieser Arbeitsprozess mehr Zeit in Anspruch nehmen.

3. Funktionen

Im folgenden Teil lernen Sie die unterschiedlichen Module und deren Funktionen exemplarisch kennen. Wie Sie nun auf Ihrem Bildschirm sehen, besteht das Interface von SentText aus vier Panels oder Modulen (vgl. Abb. 9).

Im linksseitig angeordneten Info-Panel werden die Analyseparameter angezeigt. Im Gegensatz zu den drei übrigen Modulen erfüllt das Info-Panel ausschließlich eine Orientierung stiftende Funktion und ist nicht klickbar. Die Parameter der Analyse – also die variablen Rahmenbedingungen, unter denen sie durchgeführt wird – sollten Sie bei der Interpretation der Ergebnisse stets berücksichtigen bzw. transparent machen, um die Nachvollziehbarkeit Ihrer Ergebnisse zu gewährleisten. Im oberen Bereich des Panels können Sie per Mausklick auf „NEW SENTIMENT ANALYSIS” eine neue Analyse mit anderen Grundeinstellungen starten. Achtung: Die Daten der aktuellen Analyse gehen dadurch verloren. Das Corpus-Panel – der Bereich unter „Overview and grouping of submitted files” – dient der (Re)Organisation einzelner Textdateien zu Textkorpora und ermöglicht eine vergleichende Analyse mehrerer Textkorpora, die in separaten Ordnern angelegt werden. Im Visualize-Panel („Visualization of submitted data”) werden die Analyseergebnisse des im Corpus-Panel ausgewählten Dokuments in unterschiedliche Diagramme übersetzt (in diesem Fall Aischylos’ Der gefesselte Prometheus, der der alphabetischen Anordnung aller hochgeladenen Dateien folgend am Anfang steht). Wählen Sie im Corpus-Panel einen anderen Text aus, erscheinen die entsprechenden Analyseergebnisse im Visualize-Panel. Hinter den ovalen blauen Schaltflächen im Visualize-Panel verbergen sich interaktive Diagramme, die verschiedene Analyseperspektiven auf den ausgewählten Text ermöglichen. Per Mausklick auf den gewünschten Diagrammtyp öffnet sich die Visualisierung. Sobald Sie im Corpus-Panel einen anderen Text auswählen, reagiert auch das Visualize-Panel mit der Anzeige der entsprechenden Visualisierungen und das Text-Panel mit der Anzeige des jeweiligen Textes. Im Text-Panel („Evaluation and correction of submitted data”) sehen Sie die hochgeladenen XML-Dateien als Reintext, Sentiment-tragende Wörter sind wie in der Demoversion ihrer Valenz entsprechend blau, rot und manchmal auch gelb eingefärbt. Darüber hinaus können Sie die Ergebnisse der Analyse in diesem Modul manuell korrigieren, indem Sie individuelle Sentimentwerte vergeben.

Vergleich einzelner Texte
Im Corpus-Panel werden Ihnen die hochgeladenen Texte in alphabetischer Reihenfolge angezeigt („Sorting by: Name”). Lassen Sie sich per Klick auf „Sorting by: Score” eine nach Sentimentwerten geordnete Übersicht erstellen (vgl. Abb. 10).

Aufgabe 3
In welchen Texten herrscht eine positive, in welchen Texten eine negative Stimmung vor? Erstellen Sie eine Rangliste und nutzen Sie die empirischen Daten, um eine erste Interpretationshypothese über das Stimmungsbild abzuleiten.

Zur Erinnerung: Die Polarität wird bei SentiWS jeweils mithilfe einer Skala von –1 (maximal negativ) bis +1 (maximal positiv) ausgedrückt und auf vier Nachkommastellen gerundet. „Die Ausprägung der einzelnen Wörter wurden mittels der „Pointwise Mutual Information”-Methode (PMI) berechnet. Bei diesem Ansatz wird die semantische Ausprägung eines Wortes (SO: semantic orientation) aus semantischen Assoziationen des Wortes (SA: semantic association) zu ausgewählten Wörtern (sog. seed words: ausgewählte Wörter, die bei der Berechnung quasi als exemplarische Schlüsselwörter verwendet werden), die stark positiv oder negativ konnotiert sind, abgeleitet. Die semantische Ausprägung eines Wortes bezeichnet folglich den Grad der Verbindung eben dieses Wortes zu einem manuell erstellten Set an Wörtern, die positiv oder negativ konnotiert sind. Für jedes Wort wird berechnet, ob und wie stark es mit positiven und negativen Wörtern assoziiert wird.” (s. Artikel 30 im Methodeneintrag → Sentimentanalyse). Die Dezimalwerte in SentText sind teilweise deutlich höher. In diesen Fällen handelt es sich um den absoluten Sentimentwert, bei dem – bspw. für die Darstellung der Strongest Words – sämtliche Sentimentwerte addiert werden.

Aufgabe 4
Unterhalb der blauen Titelzeile im Visualize-Panel, in der der Dateiname der ausgewählten Datei angezeigt wird, können Sie einer kleineren Kopfzeile die Wortanzahl des Dokuments und die Gesamtanzahl der Sentiment-tragenden Wörter entnehmen. Wie lauten die absoluten Sentimentwerte (Addition der Werte aller Sentiment-tragenden Wörter, angegeben als Dezimalzahl) beider Homerischen Epen? 

Um die Funktionen des Text-Panels auszuprobieren, wählen Sie im Corpus-Panel nun Aischylos’ Der gefesselte Prometheus aus. Im Visualize-Panel öffnen sich dadurch unterschiedliche Visualisierungen, während im Text-Panel Aischylos’ Drama erscheint. Scrollen Sie im Text-Panel durch den Text und hovern über die farblich markierten Wörter.

Aufgabe 5
Nutzen Sie die hinter dem Informationssysmbol verborgenen Tooltipps im Text-Panel. Welche Wörter werden gelb markiert – und beinhaltet der Text gelb hervorgehobene Wörter?

Aufgabe 6
Welchen Sentimentwert und welche Polarität haben „gefesselt”, „Fesseln”, „Einsamkeit”, „Kraft” und „Gewalt”? Passen die generierten Polaritäten zu Ihren eigenen Assoziationen? Begründen Sie Ihre Antwort.

Wie Sie feststellen, ist es im Rahmen einer lexikonbasierten Sentimentanalyse nicht ohne Weiteres möglich, Doppeldeutigkeiten kontextsensitiv zu behandeln. Die Analyse bewegt sich ausschließlich auf der Textoberfläche des ausgewählten Textes und filtert sentimentbezogene Textmerkmale heraus. Durch den Abgleich mit SentiWS erhält „fesseln” eine positive Polarität, obwohl der/die aufmerksame Leser*in weiß, dass hier der qualvolle Zustand Prometheus beschrieben wird. Anhand dieser Polaritätszuschreibung wird eine grundlegende Problematik sichtbar: Lexikonbasierte Ansätze werden der Spezifik literarischer Texte – sei es in Form einer kontextgebundenen Semantik, sei es in Form implizit im Text verankerter Gefühlsausdrücke oder einer ironischen Ausdrucksweise – nicht vollständig gerecht. Um falsch erkannten Wörtern die richtige Polarität zuordnen zu können, beinhaltet SentText eine manuelle Korrekturfunktion. Wie Sie im Zuge der Bearbeitung von Aufgabe 6 erkannt haben, besitzt das Lexem „Fesseln” einen negativen Sentimentwert von −0.0048. Dieser Wert erscheint in Anbetracht der desaströsen Lage Prometheus auch für das titelgebende „gefesselte” passend, welches einen positiven Sentimentwert erhalten hat. Um einen passenden Sentimentwert festzulegen, markieren Sie „gefesselte”. Nun öffnet sich das Dialogfeld, in dem Sie den Sentimentwert manuell eingeben können (vgl. Abb. 11). Jetzt haben Sie die Wahl: Entweder Sie entfernen die Markierung des ausgewählten Wortes als SBW via Klick auf „– Remove” oder Sie legen einen neuen Sentimentwert fest.

Tippen Sie in das Textfeld hinter „Add sentiment of word” den negativen Sentimentwert –0.0048 ein und bestätigen Ihre Eingabe durch einen Klick auf den „Save sentiment”-Button. Wie Sie sehen, wird „gefesselt” fortan rot markiert, weist den zugewiesenen negativen Sentimentwert auf (vgl. Abb. 12) und entspricht damit einer kontextsensitiv korrekten Semantik.

Ausgewählte Visualisierungen
Einen Großteil der Visualisierungen werden wir uns zu einem späteren Zeitpunkt im Rahmen einer vergleichenden Analyse anschauen. Zwei ausgewählte Formen lassen sich jedoch nur für einzelne Texte abrufen: Die „Table”- und die „Timeline”-Visualisierung.  Beide Visualisierungen arbeiten auf der Satzebene und sind im „Visualize-Panel” dementsprechend unter der Überschrift „Charts of Sentence Level” zu finden. Klicken Sie hier auf „Timeline: Development of the Sentiment” oder „Table: The strongest ten sentences”, öffnen sich die Darstellungen. Beide Visualisierungen interagieren mit dem Text-Panel und lassen sich modifizieren.

Aufgabe 7
Wählen Sie die „Table”-Visualisierung aus. Wie lautet der Satz mit dem negativsten Sentimentwert? Welche Figur äußert ihn und an wen richtet er sich?

Aufgabe 8
Wählen Sie die „Timeline”-Visualisierung aus. In welchem Textsegment finden sich besonders positive bzw. negative Sätze und wie lauten diese?

Vergleich zweier Texte
Nun möchten wir die Analyseergebnisse beider „Extremfälle” etwas genauer unter die Lupe nehmen und die unterschiedlichen Formen der Visualisierung erkunden. Wählen Sie im Corpus-Panel zunächst Homers Odyssee aus und richten Ihre Aufmerksamkeit nun wieder auf das Visualize-Modul. Über den grünen „Compare with others”-Button im Visualize-Panel können Sie mehrere Textdateien miteinander vergleichen. Wählen Sie die Ilias und die Odyssee zum Vergleich aus, indem Sie zuerst auf die grüne „Compare with others”-Schaltfläche klicken. Nun werden Ihnen die Analyseergebnisse aller Einzeltexte angezeigt. Um aus dem Antike-Korpus einzelne Texte auszuwählen, klicken Sie hinter „Select files” – wo zum jetzigen Zeitpunkt noch „9 selected” angezeigt wird – auf das kleine Pfeilsymbol. Deaktivieren Sie die übrigen Texte, indem Sie das Häkchen entfernen oder die „unselect all”-Funktion nutzen und ausschließlich Ilias und Odyssee mit einem Häkchen versehen (vgl. Abb. 13).

Wie auch bei der Analyse von Einzeltexten können Sie nun hinter „Select graph” für die ausgewählten Texte unterschiedliche Visualisierungen abrufen. Während alle unter „Scores”, „Polarities” und „Distribution” abrufbaren Visualisierungen quantitative Analyseergebnisse in den Vordergrund stellen (Verteilung der SBWs und der Sentiment-tragenden Sätze im Text oder Korpus), ermöglichen die „Strongest Words”-Visualisierungen eine Exploration semantischer Strukturen.

Aufgabe 9
Werten Sie die Tortendiagramme aus, die die Verteilung der Sentiment-tragenden Sätze und Wörter anzeigen (Select graph, Distribution, Words/Sentences).

Wählen Sie unter „Select graph” nun die Wordcloud aus. Jetzt werden Ihnen für beide Texte Wordclouds angezeigt, die die besonders häufig vorkommenden positiven Sentimentwörter beinhalten. Die Größe der Buchstaben repräsentiert die Vorkommenshäufigkeit. Die Farbe steht für die Polarität (blau: positiv; rot: negativ). Sobald Sie mit der Maus über einzelne Wörter hovern, werden Ihnen das Wort, der Sentimentwert, die Vorkommenshäufigkeit und der absolute Sentimentwert (also die pro Vorkommen addierten Sentimentwerte) angezeigt (vgl. Abb. 14 und 15). Unter „Polarity” können Sie auswählen, zu welcher Polarität Sie sich eine Wordcloud anzeigen lassen möchten.

 

Aufgabe 10
Welche positiven und welche negativen Sentimentwörter bestimmen die Ilias und die Odyssee? Werten Sie die Wordclouds aus.
Welche Wörter mit besonders hohem positiven und negativen Sentimentwert kommen in der Ilias und der Odyssee vor? Beziehen Sie in Ihre Auswertung auch die Balkendiagramme mit ein, welche Sie unter „Select Graph → („Strongest words”) → „Bar” auswählen können.

Nun haben Sie einige der Analyseergebnisse innerhalb der Toolumgebung miteinander verglichen. Wenn Sie alle Analyseergebnisse herunterladen möchten, um diese bspw. auch offline und zu einem anderen Zeitpunkt analysieren zu können, nutzen Sie die Download-Funktion im Corpus-Panel (vgl. Abb. 16). Hierfür hovern Sie über dem Downloadsymbol rechts neben dem Dateititel und klicken auf das gewünschte Dateiformat.

Aufgabe 11
Laden Sie die Analyseergebnisse der Odyssee herunter und speichern Sie diese im xml-Format auf Ihrem Desktop ab.

Vergleich mehrerer Korpora (Corpus-, Visualize-Panel)
Im folgenden Teil der Lerneinheit werden Sie das noch ungeordnete Antike-Korpus so anordnen, dass ein genretypologischer Vergleich möglich wird. Hierfür richten Sie sich wieder dem „Overview and grouping of submitted files”-Modul zu. Legen Sie zunächst drei unterschiedliche Ordner an. Klicken zu hierzu auf „create folder”, geben als Ordnername „Dramatiker” in das Textfeld ein und bestätigen Ihre Eingabe per Klick auf „Submit” (vgl. Abb. 17).

Wiederholen Sie diesen Vorgang und legen Sie einen Epiker- und einen Dichter-Ordner an. In Ihrem Corpus-Panel befinden sich nun drei Ordner und neun Textdateien (vgl. Abb. 18).

Bevor die vergleichende Analyse durchgeführt werden kann, müssen die verschiedenen Dateien einem entsprechenden Ordner zugeordnet werden. Ziehen Sie hierfür die einzelnen Dateien per Drag & Drop in den passenden Ordner (vgl. Abb. 19).

Klicken Sie nun auf den grünen „Compare files and folders”-Button und starten die vergleichende Sentimentanalyse. Nun öffnet sich automatisch ein zuvor nicht sichtbares Panel: das „Compare documents and folders”-Modul. Die generalisierten Analyseergebnisse werden Ihnen zunächst für alle Einzeltexte und für die drei Textkorpora angezeigt (vgl. Abb. 12). Sollte dies nicht der Fall sein, wählen Sie im Eingabefeld hinter „Selected files” zunächst alle 12 Dateien aus. Für jedes Dokument bzw. jedes Korpus werden die folgenden Metadaten angezeigt: Titel, normalisierter Sentimentwert (= absoluter Sentimentwert, geteilt durch die Anzahl aller Wörter eines Textes, um die Vergleichbarkeit unterschiedlich langer Texte zu gewährleisten), absoluter Sentimentwert und Wortanzahl. Unter „Select graph” können Sie aus unterschiedlichen Visualisierungsformen (Verteilungsgraf, Tortendiagramm, Wordcloud) auswählen, die die verschiedenen Analyseergebnisse (Polarität, Verteilung positiver/negativer Wörter und Sätze, stärkste Sentimentwörter/Sentiment-tragende Sätze) für die einzelnen Textdateien sowie die drei Korpora darstellen. Zunächst bleiben Sie aber bei der Startansicht (vgl. Abb. 20).

Aufgabe 12
In welchen Texten herrscht eine positive, in welchen Texten eine negative Stimmung vor? Erstellen Sie eine Rangliste.

Zur Erinnerung: Die Polarität wird bei SentiWS jeweils in einer Skala von –1 (maximal negativ) bis +1 (maximal positiv) ausgedrückt und auf vier Nachkommastellen gerundet. Um die Analyseergebnisse in eine Reihenfolge zu bringen, ist der Blick auf den normalisierten Sentimentgehalt des Dokuments hilfreich. Nach einem ersten Überblick über den Sentimentgehalt der einzelnen Texte widmen wir uns nun dem detaillierten Vergleich der drei Teilkorpora. Sie haben in dem Compare-Modul die Möglichkeit, zuvor angelegte Ordner miteinander vergleichen zu lassen und die Ergebnisse genauer unter die Lupe zu nehmen. Per Default werden Ihnen im Moment die Analyseergebnisse aller 9 Dateien und die der drei Textkorpora angezeigt („12 selected”). Klicken Sie im Auswahlfeld neben „Selected files” zunächst auf „unselect all” und setzten dann ein Häkchen vor dem Dramatiker-, Epiker- und Dichter-Ordner (vgl. Abb. 21). Auf diese Weise schließen Sie die Analyse der Einzeltexte aus und können sich auf den Vergleich der Teilkorpora konzentrieren.

Sollten Sie einzelne Texte miteinander vergleichen wollen, können Sie diese übrigens ebenfalls in diesem Bereich auswählen. Durch die Auswahl der drei Ordner gelangen Sie nun zu der bereits bekannten und jetzt etwas größer abgebildeten Gesamtübersicht, in der die absolute und die normalisierte Polarität aller Ordner angezeigt wird. Neben dem „Select graph”-Schriftzug haben Sie wieder die Möglichkeit, sich einzelne Analyseergebnisse in Form unterschiedlicher Visualisierungen anzeigen zu lassen. Unter „Polarity” wird die Polarität der einzelnen Korpora angezeigt. Unter „Distribution” wird die Verteilung der positiven und negativen sentiment bearing words bzw. der Sätze mit positiver und negativer Polarität in den einzelnen Teilkorpora angezeigt. Unter „strongest words” können Sie sich die besonders positiven und besonders negativen Wörter in Wordclouds oder Grafen anzeigen lassen. Bearbeiten Sie nun die folgenden Aufgaben, indem Sie die Einstellungen hinter „select graph” den Angaben in den Klammern entsprechend anpassen.

Aufgabe 13 (Polarity Weight; Normalization: Sentiment Bearing Words)
Schauen Sie sich die Grafen an. Welches Korpus enthält die meisten sentiment bearing words? Welches Korpus ist am „stimmungsvollsten”? 

Aufgabe 14 (Distribution; Words)
Beschreiben und interpretieren Sie die Verteilung der positiven und negativen Sentiment-tragenden Wörter innerhalb der drei Teilkorpora. Wie lassen sich die Diagramme interpretieren, wenn die Verteilung der positiven und negativen Sätze (Distribution; Sentences) angezeigt wird?

Aufgabe 15 (Strongest Words; Wordcloud, Polarity: negative/positive)
Welche negativen und welche positiven Sentiment-tragenden Wörter bestimmen die drei Textkorpora? Lassen sich aus den Wordclouds erste Interpretationshypothesen über inhaltliche Schwerpunkte ableiten?

Damit sind Sie am Ende der Lerneinheit zur lexikonbaiserten Sentimentanalyse mit SentText angelangt. Sie haben ein Antike-Korpus erstellt und dieses bei SentText hochgeladen. Hier haben Sie das Corpus-, das Visualize- sowie das Text-Modul und deren Funktionen kennengelernt. 

4. Lösungen zu den Beispielaufgaben

Aufgabe 1: Welche Wörter werden rot markiert, welche Wörter werden blau markiert und welche Stimmung assoziieren Sie mit den farblich hervorgehobenen Begriffen? Welches Wort scheint Ihnen eine besonders positive Gefühlslage zu repräsentieren und welches ist negativ konnotiert? Bringen Sie die Wörter – absteigend von positiv zu negativ konnotierten Wörtern – in eine Reihenfolge.

„heiligen” und „gelernt” werden blau markiert. Sie sind positiv konnotiert und könnten mit Reinheit und einem bereichernden Wissenszuwachs assoziiert werden. „Zerstörung” wird rot eingefärbt und ist negativ konnotiert. Der Begriff entwirft eine düstere, destruktive Stimmung. Die folgenden Reihenfolgen erscheinen plausibel: 1) heiligen (sehr positiv); 2) lernen (positiv); 3) Zerstörung (negativ) oder 1) lernen (sehr positiv); 2) heiligen (positiv); 3) Zerstörung (negativ).

Aufgabe 2: Die Demoversion greift auf das Sentimentwörterbuch SentimentWortschatz (SentiWS) zurück. „heiligen” hat hier einen Sentimentwert von 0.0727, der Sentimentwert von „gelernt” beträgt 0.2492. „Zerstörung” hat einen Sentimentwert von –0.3578. Passen die errechneten Sentimentwerte zu Ihrer persönlichen Reihenfolge?

Die errechneten Sentimentwerte entsprechen der Reihenfolge. Dass „Zerstörung” einen äußerst negativen Sentimentwert erhält, erscheint plausibel.  „gelernt” ist SentiWS zufolge positiver konnotiert als „heiligen”. Die positive Bewertung beider Verben ist nachvollziehbar, könnte je nach wertendem Individuum und zeitlichem Kontext allerdings auch in umgekehrter Reihenfolge ausfallen. Ein religiöser Mensch würde evtl. „heiligen” positiver bewerten als „lernen”. Mit dem Beginn der Aufklärung ab 1700 dürfte „lernen” deutlich positiver bewertet werden als „heiligen”. An dieser Stelle wird erneut der Einfluss des Sentimentwörterbuchs auf Analyseergebnisse und Interpretation deutlich. Die Konnotation der Lexeme wird durch den zeitlichen Kontext und die menschlichen Bewertungen anhaftende Subjektivität mitbestimmt.

Aufgabe 3: In welchen Texten herrscht eine positive, in welchen Texten eine negative Stimmung vor? Erstellen Sie eine Rangliste und nutzen Sie die empirischen Daten, um eine erste Interpretationshypothese über das Stimmungsbild abzuleiten.

Texte mit negativer Polarität in aufsteigender Reihenfolge (negativ zu sehr negativ)
Homer: Ilias –0.001923
Apuleius: Der goldene Esel –0.001954
Ovid: Metamorphosen –0.003512
Aristophanes: Die Wolken –0.003539
Aischylos: Der gefesselte Prometheus –0.005027
Anakreon: Auf die Liebe –0.005503
Euripides: Medea –0.005545
Texte mit positiver Polarität in aufsteigender Reihenfolge (positiv zu sehr positiv)
Homer: Odyssee 0.000931
Hesiodos: Theogonia 0.00117
Für einen Großteil der Texte ist ein negatives Stimmungsbild konstitutiv; nur zwei Texte weisen einen positiven durchschnittlichen Sentimentwert auf. Homers Epen führen beide Listen an, hier lassen sich sowohl besonders positive als auch negative gefühlsbezogene Extremsituationen in Form Sentiment-tragender Signalwörter auf der Textoberfläche nachweisen.

Aufgabe 4: Unterhalb der blauen Titelzeile, in der der Dateiname der ausgewählten Datei angezeigt wird, können Sie einer kleineren Kopfzeile die Wortanzahl des Dokuments und die Gesamtanzahl der Sentiment-tragenden Wörter entnehmen. Wie lauten die absoluten Sentimentwerte (Addition der Werte aller Sentiment-tragender Wörter, angegeben als Dezimalzahl) beider Homerischer Epen?

SentText addiert sämtliche Sentimentwerte, die für die Odyssee vergeben wurden und errechnet einen positiven Gesamtwert von 100.3641. SentText addiert sämtliche Sentimentwerte, die für die Ilias vergeben wurden und errechnet einen einen negativen Gesamtwert von –273.3258.

Aufgabe 5: Nutzen Sie die hinter dem Informationssysmbol verborgenen Tooltipps im Text-Panel. Welche Wörter werden gelb markiert – und beinhaltet der Text gelb hervorgehobene Wörter?

Gelb markiert sind diejenigen Wörter, die im ausgewählten Lexikon enthalten sind und deren Sentimentwert 0 beträgt. Es handelt sich um neutrale Wörter. Der Gefesselte Prometheus enthält keine neutralen Sentimentwörter.

Aufgabe 6: Welchen Sentimentwert und welche Polarität haben „gefesselt”, „Fesseln”, „Einsamkeit”, „Kraft” und „Gewalt”? Passen die Polaritäten und Ihre eigene Vorstellung zusammen? Falls nicht: Woran könnte der Unterschied liegen?

„gefesselt”: Polarität: positiv; Sentimentwert: 0.004
„Fesseln”: Polarität: negativ; Sentimentwert: –0.0048
„Einsamkeit”:Polarität: negativ; Sentimentwert: –0.339
„Kraft”: Polarität: positiv; Sentimentwert: 0.004
„Gewalt”: Polarität: negativ; Sentimentwert –0.5363
In den meisten Fällen stimmen wahrscheinlich Sentimentwert und eigene Konnotation überein. Die negative Konnotation der Lexeme „Gewalt” und „Fesseln” erscheint genauso plausible wie die positive Polarität von „Kraft”. Dass „fesseln” als verwandte Verbform von „Fesseln” eine positive Polarität aufweist, erscheint fragwürdig. Hier müsste eine manuelle Änderung vorgenommen werden. Eine Erklärung für die Vergabe eines positiven Sentimentwerts liegt in der Bedeutungsvielfalt der Verbform. „fesseln” im Sinne einer durch das Anlegen von Fesseln oder Festbinden beraubten Bewegungsfreiheit ist negativ konnotiert. Versteht man „fesseln” allerdings als faszinierendes Beanspruchen von Aufmerksamkeit, ist der positive Sentimentwert nachvollziehbar.

Aufgabe 7: Wählen Sie die „Table”-Visualisierung aus. Wie lautet der Satz mit dem negativsten Sentimentwert? Welche Figur äußert ihn und an wen richtet er sich?

Der Satz lautet: „Ja, krank, wenn Krankheit seine Feinde hassen heißt!”. Er wird von Prometheus ausgesprochen und richtet sich an Hermes.

Aufgabe 8: Wählen Sie die „Timeline”-Visualisierung aus. In welchem Textsegment finden sich besonders positive bzw. negative Sätze und wie lauten diese?

In dem Textsegment zwischen 600 und 650 finden sich Sätze mit besonders positiver Polarität. Einen besonders positiven Sentimentwert von 0.201 weist „Behaglich” auf, wobei es sich hierbei nicht um einen vollständigen Satz handelt. Im Segment zwischen 620 und 675 finden Sätze mit besonders negativer Polarität, hierzu gehört z. B. „So wirfst du mir auch Schuld an deinem Leide vor?”.

Aufgabe 9: Werten Sie die Tortendiagramme aus, die die Verteilung der Sentiment-tragenden Sätze und Wörter anzeigen (Select graph, Distribution, Words/Sentences).

Der Vergleich der vier Diagramme zeigt eine sehr ähnliche Verteilung der Sentiment-tragenden Wörter und Sätze. Beide Epen weisen ein relativ ausgeglichenes Verhältnis zwischen positiven und negativen Sentiment-tragenden Wörtern und Sätzen auf. Die Anzahl an positiven SBWs überwiegt, wobei diese Tendenz in der Ilias ausgeprägter ist als in der Odyssee. Die Verteilung positiver und negativer Sätze ist ebenfalls ähnlich, positive Sätze überwiegen in beiden Texten. Es zeigt sich ein ausgeglichenes Stimmungsbild.

Aufgabe 10: Welche positiven und welche negativen Sentimentwörter bestimmen die Ilias und die Odyssee? Werten Sie die Wordcloud aus.
Welche Wörter mit besonders hohem positiven und negativen Sentimentwert kommen in der Ilias und der Odyssee vor? Beziehen Sie in Ihre Auswertung auch die Balkendiagramme mit ein, welche Sie unter „Select Graph → („Strongest words”) → „Bar” auswählen können.

Die acht negativsten Wörter in Homers Odyssee lauten „Gewalt”, „Jammer”, „getötet”, „Unglück”, „Feinde”, „brach”, „Fremde” und „Gefahr”.
Die acht negativsten Wörter der Ilias sind „Kampf”, „Streit”, „Gewalt”, „Kampfe”, „kämpfte”, „Mauer”, „Feind” und „Zorn”. Aus der Distanz betrachtet, spiegelt sich das zentrale Thema des Epos – der erbitterte Kampf zwischen Achaiern und Trojanern um die Stadt Troja – deutlich in den besonders negativen Wörtern wider. Der Bau und die Verteidigung der Mauer um das Lager der Griechen lässt sich ebenfalls ablesen, darüber hinaus findet sich auch der berühmte iliadische Zorn im Grafen wieder. Die Odyssee erscheint auf den ersten Blick weniger Kampfdarstellungen zu enthalten. Zentrale Themen wie die Reise in die Fremde oder der Verlust von Freunden lassen sich aus dem Grafen ableiten.

Die acht besonders positiven Wörter der Ilias lauten „Genossen”, „Mut”, „mutige”, „Mutes”, „mutigen”, „Muts”, „Geschenk” und „Schnell”. Hier wird die wichtigste Charaktereigenschaft der Helden deutlich. Gleichzeitig offenbart sich der Mehrwert einer Lemmatisierung. Bei einem weiteren Analysedurchlauf sollte eine Lemmatisierung durchgeführt werden, damit Wörter desselben Wortstammes nicht als unterschiedliche Lexeme gezählt werden.
Bei „großen”, „herrliche”, „edlen”, „Geschenke”, „Genossen”, „kluge”, „prächtigen” und „Ruhe” handelt es sich um die acht besonders positiven SBWs der Odyssee. Die Zusammensetzung ist deutlich heterogener als in der Ilias. Die Adjektive groß, herrlich, edel, klug und prächtig rücken Charaktereigenschaften oder körperliche Eigenschaften in den Vordergrund.

Aufgabe 11: Laden Sie die Analyseergebnisse der Odyssee herunter und speichern Sie diese auf Ihrem Desktop ab.
Aufgabe 12: In welchen Texten herrscht eine positive, in welchen Texten eine negative Stimmung vor? Erstellen Sie eine Rangliste.

Positiver durchschnittlicher Sentimentwert (absteigend, sehr positiv bis weniger positiv)
1) Hesiodos: Tehogonie (0.0017)
2) Homer: Odyssee (0.000931)
Negativer durschnittlicher Sentimentwert (absteigend, sehr negativ bis weniger negativ)  
1) Homer: Ilias (–0.001923)
2) Apuleius: Der goldene Esel (–0.001954)
3) Ovid: Metamorphosen (–0.003512)
4) Aristophanes: Die Wolken (–0.003539)
5) Aischylos: Der gefesselte Prometheus (–0.00491)
6) Anakreon: Auf die Liebe (–0.005503)
7) Euripides: Medea (–0.005545)

Aufgabe 13 (Polarity Weight; Normalization: Sentiment Bearing Words): Schauen Sie sich die Grafen an. Welches Korpus enthält die meisten sentiment bearing words? Welches Korpus ist am „stimmungsvollsten”?

Das Korpus der Epiker enthält die meisten sentiment bearing words und könnte demnach als besonders stimmungsvoll bezeichnet werden.
Epiker: 23.030 SBWs (–0.0006)
Dichter: 5.770 SBWs (–0.0030)
Dramatiker: 2.990 SBWs (–0.0046)
Bei der Bezeichnung als „stimmungsvollstes Korpus” ist Vorsicht geboten, da die Textlänge natürlich die Anzahl der SBWs beeinflusst. Die Epen sind bspw. deutlich umfangreicher als die lyrischen Werke. Bei einer solchen quantitativen Analyse ist es also ratsam, Texte ähnlichen Umfangs auszuwählen. Um eine fehlerhafte Interpretation zu vermeiden, sollten außerdem die normalisierten Werte einbezogen werden.

Aufgabe 14 (Distribution; Words): Beschreiben und interpretieren Sie die Verteilung der positiven und negativen Sentiment-tragenden Wörter innerhalb der drei Teilkorpora. Wie lassen sich die Diagramme interpretieren, wenn die Verteilung der positiven und negativen Sätze (Distribution; Sentences) angezeigt wird?

Die Verteilung der positiven und negativen SBWs erscheint auf den ersten Blick sehr ausgeglichen. Das gilt v. a. für das Korpus der Dramatiker. Hier befindet sich das Verhältnis fast in der Wage (48,7 % negative SBWs, 51,3 positive SBWs). Mit einem Verhältnis von +60 zu – 40 weist das Korpus der Epiker die größte Diskrepanz zwischen positiven und negativen SBWs auf. Das Korpus der Dichter nimmt eine Mittelposition ein (+54,49 zu –45,51). Die vergleichende Analyse der drei Antike-Korpora zeigt zunächst, dass im Durchschnitt alle drei Gattungen einen normalisierten negativen Sentimentwert aufweisen. Das bestätigt der Blick auf die einzelnen Texte, von denen insgesamt nur zwei einen positiven Sentimentwert aufweisen. Bei den epischen Texten (Ilias, Odyssee und Theogonia) schlägt der Sentimentwert besonders stark in den Minusbereich aus. Das ist überraschend, da zwei der im Epiker-Korpus enthaltenen Texte zu den Texten gehören, für die ein durchschnittlich positiver Sentimentwert errechnet wurde. Dieser Befund geht konform mit den übrigen Analyseergebnisse, da die Ilias insgesamt den zweitnegativsten Sentimentwert aufweist und den Sentimentwert des Epiker-Korpus maßgeblich in den negativen Bereich führt.

Aufgabe 15 (Strongest Words; Wordcloud, Polarity: negative/positive): Welche negativen und welche positiven Sentiment-tragenden Wörter bestimmen die drei Textkorpora? Lassen sich aus den Wordclouds erste Interpretationshypothesen über inhaltliche Schwerpunkte ableiten?

Die vergleichende Analyse der drei Antike-Korpora zeigt zunächst, dass im Durchschnitt alle drei Gattungen einen negativen Sentimentwert aufweisen. Das bestätigt der Blick auf die einzelnen Texte, von denen nur zwei einen positiven Sentimentwert aufweisen.
Epiker: –161.925
Dramatiker: –152.1012
Dichter: –123.2111
Aus den Wordclouds treten die folgenden SBWs besonders hervor:
Negative zentrale Begriffe:
Dramatiker: Leid, schlechten, Feinden, Schuld
Epiker: Streit, Gewalt, Mauer, Kampfe, kämpfen
Dichter: Arme, Gewalt, Feind, Feinde, Gefahr, Furcht, Krieg, Streit
Positive zentrale Begriffe:
Dramatiker: Heil, mag, gut, Freude, treu
Epiker: Mut, großen, herrliche, edlen
Dichter: Mut, Liebe, Schönheit, Freuden, Glück, Geschenk
Dramatiker: Hier ließe sich eine Auseinandersetzung mit Schuld und der Konflikt zwischen Feind und Freund ableiten. Die Wordcloud lässt vermuten, dass Fragen der Moral verhandelt werden.
Epiker: In der Wordcloud rücken Gewalt und Kampf in den Vordergrund, was ebenfalls auf das Austragen eines Konflikts deutet. Mut tritt als wichtige Eigenschaft des Helden hervor.
Dichter: Das zentrale Thema der kriegerischen Auseinandersetzung ist in der Wordcloud deutlich zu erkennen und steht mit konventionell negativ konnotierten Wörtern wie Gewalt, Furcht, Feind und Streit in Verbindung. Dem gegenüber stehen konventionell positiv konnotierte Lexeme wie Liebe, Glück, Freuden, Geschenk oder Schönheit. In dieser Wordcloud steht ein gefühlsbetontes Vokabular im Vordergrund, was gattungstypologisch plausibel erscheint.

5. Nachweise und weiterführende Literatur

• Latacz, Joachim (2014): Homers Ilias. Studien zu Dichter, Werk und Rezeption. Berlin, Boston: de Gruyter. URL: https://doi.org/10.1515/9783110306361 [Zugriff: 18.5.2020].
• Remus, Robert, Uwe Quasthoff und Gerhard Heyer (2010): „SentiWS - A Publicly Available German-language Resource for Sentiment Analysis“. In: Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC’10), Valetta, Malta: European Language Resources Association, 1168–1171. URL: http://www.lrec-conf.org/proceedings/lrec2010/pdf/490_Paper.pdf.
• Schmidt, Thomas und Manuel Burghardt (2018): „An Evaluation of Lexicon-based Sentiment Analysis Techniques for the Plays of Gotthold Ephraim Lessing“. In: Proceedings of the Second Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature, Santa Fe, New Mexico: Association for Computational Linguistics, 139–149.