Inter Annotator Agreement (IAA)

Das Inter Annotator Agreement, auch IAA genannt, wird verwendet, um im Kontext eines kollaborativen Annotationsprojektes herauszufinden, wie hoch die Übereinstimmung der Annotator*innen miteinander ist. Das IAA wird auch als Maß der Objektivität definiert, da es ermöglicht zu ermitteln, inwieweit die Annotationsergebnisse unabhängig von den Annotierenden sind. Es kann auf unterschiedliche Weisen wie beispielsweise durch Scott's pi, Cohen's kappa, Krippendorf's alpha oder das Gamma-Agreement berechnet werden.