Inter Annotator Agreement (IAA)

Das Inter Annotator Agreement, auch IAA genannt, bzw. die Inter-Rater Reliability (IRR), wird verwendet, um im Kontext eines kollaborativen Annotationsprojektes herauszufinden, wie hoch die Übereinstimmung der Annotator*innen miteinander ist. Das IAA wird auch als Maß der Objektivität definiert, da es ermöglicht zu ermitteln, inwieweit die Annotationsergebnisse unabhängig von den Annotierenden sind. Abhängig von der Anzahl der Annotierenden kann es auf unterschiedliche Weisen wie beispielsweise durch Scott's pi, Cohen's kappa, Krippendorf's alpha oder das Gamma-Agreement berechnet werden.