Metriken und Prozesse zur Bewertung der Übersetzungsqualität mit Kunden

Übersetzen ist ein von Natur aus subjektiver Prozess, was bedeutet, dass auch die Qualität der übersetzten Inhalte subjektiv ist. Dies stellt Sprachdienstleister vor ein Problem, wenn sie ihren Kunden einen Qualitätsstandard für ihre Dienstleistungen garantieren wollen.

Ein Sprachdienstleister kann nicht einfach sagen: „Wir liefern hochwertige Übersetzungen“, denn was bedeutet das eigentlich? Sie und Ihr Kunde haben möglicherweise völlig unterschiedliche Vorstellungen davon.

Es gibt Komponenten, die objektiver sind als andere: Vermittelt dieser übersetzte Satz dieselbe Bedeutung wie der Originalsatz? Gibt es grammatikalische Fehler? Aber wie Web-Translations erklärt,

„Nur weil eine Übersetzung die beabsichtigte Bedeutung des Originaltextes genau wiedergibt, ist sie nicht unbedingt von guter Qualität – eine qualitativ hochwertige Übersetzung ist mehr als nur die Beibehaltung der Bedeutung – sie muss den definierten Spezifikationen entsprechen und für den vorgesehenen Zweck geeignet sein.“

Dieses Dilemma ist nicht neu. Seit den Anfängen der Branche müssen Übersetzungsanbieter und -kunden verhandeln, anhand welcher Spezifikationen sie die Qualität ihrer Arbeit messen wollen. Die zunehmende Dominanz der maschinellen Übersetzung erschwert diesen Prozess jedoch zusätzlich.

Direkt maschinell übersetzte Inhalte ohne menschliche Bearbeitung können als schnelle und kostengünstige Möglichkeit dienen, Inhalte zu übersetzen, die zuvor außerhalb des Budgets eines Kunden gelegen hätten. Da es nun möglich ist, neue und größere Mengen an Inhalten zu übersetzen, verlagern wir uns hin zu einem flexibleren Spektrum an Qualitätsstandards. Letztendlich ist die von Ihnen gewünschte Qualität die Qualität, mit der Ihr Kunde zufrieden ist. Während der Kunde letztendlich über die Qualität entscheidet, kann ein Sprachdienstleister oft diese Anforderungen lenken und spezifische Qualitätsbewertungsprozesse fördern.

Es gibt viele Modelle, die entwickelt wurden, um die Qualität einer Übersetzung zu messen. Die meisten davon basieren auf Fehlertypologien und ignorieren den Stil weitgehend. Bestimmte Modelle sind in bestimmten Branchen oder für bestimmte Arten von Inhalten beliebt. Beispielsweise wurde die Metrik SAE J2450 von der Society ofAutomotive Engineers (SAE) und die Metrik LISA QA Metrik wurde speziell für die Hardware- und Softwareindustrie entwickelt.

Die Multidimensional Quality Metrics sind ein Framework, das bei der Strukturierung und Anwendung von Qualitätsbewertungen hilft. MQM ist keine Metrik, „sondern bietet vielmehr einen umfassenden Katalog von Qualitätsproblemen mit standardisierten Bezeichnungen und Definitionen, der zur Beschreibung bestimmter Metriken für spezifische Aufgaben verwendet werden kann.“

In ähnlicher Weise wurde das TAUS Dynamic Quality Framework (DQF) speziell für die Handhabung mehrerer Ebenen von Qualitätsstandards für maschinelle Übersetzungsprozesse entwickelt.

Bei manchen Projekten kann es sinnvoller sein, die Qualität anhand des Kontexts zu messen, anstatt anhand der Fehler in der Übersetzung. Mihail Vlad, VP Machine Learning Solutions bei SDL, bietet mehrere situationsbezogene Alternativen:

• Die Qualität für die Nachbearbeitung wird daran gemessen, dass der Übersetzer produktiver ist.

• Die Qualität für mehrsprachiges eDiscovery wird an der Genauigkeit der Identifizierung der richtigen Dokumente gemessen.

• Die Qualität für mehrsprachige Textanalysen wird anhand der Effektivität des Analysten bei der Identifizierung der relevanten Informationen gemessen.

• Die Qualität für mehrsprachige Chats wird anhand der Feedback-Bewertung des Endkunden gemessen.

Sprachdienstleister können ihre Kunden über Möglichkeiten zur Qualitätsmessung aufklären, die ihnen einen Mehrwert bieten, beispielsweise geringere Kosten oder eine höhere Zufriedenheit der Endnutzer.

Bei internen projektbasierten Bewertungen überprüfen und benoten Redakteure Übersetzer im Rahmen einer Korrektur-/Lektoratsaufgabe eines Projekts. Sie können dabei ein von ihnen selbst entwickeltes Bewertungssystem oder ein aus einem bestehenden Modell abgeleitetes System verwenden. Projektmanager können anhand der Durchschnittsbewertung eines Übersetzers den Überblick behalten und Standards festlegen.

Einige CAT-Tools und Translation Memorys verfügen über eine oderoder mehrere dieser Metriken integriert und können zur Bewertung einer Übersetzung verwendet werden. Kunden können auch ihre eigenen projektbasierten Bewertungen durchführen. In vielen Fällen vertrauen Kunden dem Sprachdienstleister aufgrund seiner Referenzen und seines Rufs bedingungslos. Größere Unternehmen können jedoch lokale Vertriebspartner – wie lokale Wiederverkäufer oder Teammitglieder in ihrer lokalen Niederlassung – einsetzen oder externe Prüfer beauftragen, die Qualität der Arbeit eines Sprachdienstleisters zu überprüfen.

Bei der Zusammenarbeit mit externen Prüfern ist es wichtig, dass die zwischen dem Sprachdienstleister und seinem Kunden vereinbarten Erwartungen auch auf diese übertragen werden. Es gibt zwei häufige Probleme, die auftreten können, wenn die Prüfer nicht auf derselben Wellenlänge sind. Erstens habe ich erlebt, dass lokale Wiederverkäufer Fehler in eine Übersetzung eingebracht haben, weil sie keine Sprachexperten sind. Zweitens kann es vorkommen, dass sich ein Sprachdienstleister und sein Kunde, insbesondere bei der Nachbearbeitung von Inhalten mit niedriger Priorität, auf einen niedrigeren Übersetzungsstandard geeinigt haben, ohne den Korrektor darüber zu informieren. Dies kann zu Problemen führen, selbst wenn der Sprachdienstleister die vom Kunden gewünschten Dienstleistungen erbringt.

Nicht alle Inhalte müssen übersetzt und bearbeitet werden, um den höchsten Qualitätsstandards zu entsprechen. Mit maschineller Übersetzung lassen sich große Mengen an Inhalten schneller als je zuvor übersetzen, allerdings kann die Qualität dieser Übersetzungen variieren.

Mit anderen Worten: Bei Inhalten mit geringer Priorität, wie Website-Kommentaren oder Forenbeiträgen, kann es ausreichend sein, wenn sie verständlich sind, ohne dass sie hinsichtlich Sprachfluss und Grammatik überarbeitet werden.

Insbesondere wenn Sie maschinelle Übersetzung mit verschiedenen Stufen der Nachbearbeitung verwenden, können Sie verschiedene Arten von Inhalten für denselben Kunden mit unterschiedlichen Preisstufen und Qualitätsanforderungen bearbeiten.

Während projektbasierte Bewertungen Gegenstand von Verhandlungen zwischen Sprachdienstleistern und ihren Kunden sind, spielen auch andere Arten von Bewertungen eine wichtige Rolle für die Aufrechterhaltung eines hohen Servicelevels.

Bei der Einstellung eines neuen Übersetzers verlangen Sprachdienstleister eine Probeübersetzung, um die allgemeine Kompetenz des Übersetzers zu beurteilen. Unternehmen können eine einfache Bestehens-/Nichtbestehensschwelle verwenden oder eine komplexere Bewertungsskala erstellen, um ihre bevorzugten Anbieter zu ermitteln. Die Bewertung erfolgt anhand einer intern erstellten oder einer branchenüblichen Metrik. Es kann hilfreich sein, eine der Metriken zu verwenden, die Sie auch für die Arbeit mit Kunden verwenden.

In einem früheren Artikel über maschinelle Übersetzung und Post-Editing haben wir erläutert, wie man die Qualität einer maschinellen Übersetzungsmaschine misst, was eine weitere Art der nicht projektbezogenen Bewertung darstellt.

Es kann hilfreich sein, regelmäßig fertige Übersetzungen zur Bewertung an einen externen Lektor oder ein anderes Lektoratsteam zu schicken. Wenn Sie stets mit denselben Lektoren zusammenarbeiten und Ihre Kunden Ihre Arbeit nicht überprüfen, haben Sie keinen Maßstab, an dem Sie die Qualität Ihrer Arbeit messen können. Sprachdienstleister können stichprobenartige Bewertungen durchführen, um die Arbeit von Lektoren und Übersetzern zu überprüfen und sicherzustellen, dass Ihr Qualitätsstandard stets eingehalten wird.

Zusammenfassend lässt sich sagen, dass sich das Verhältnis der Branche zur Qualität parallel zu den technologischen Verbesserungen und den sich ändernden Kundenbedürfnissen weiterentwickelt. Wie Common Sense Advisory berichtet,

„Einheitsmodelle für Qualität reichen nicht aus, um den vielfältigen Anforderungen gerecht zu werden, denen Unternehmen heute gegenüberstehen. Ein flexibles Modell ermöglicht es Ihnen, Prozesse anzupassen, ohne sie jedes Mal neu einrichten zu müssen.“