Grundlagen
Sprache: Was soll schon schiefgehen?
Codecs, Packet Loss (Paketverlust), Jitter (Laufzeitschwankung), Transcodierung zwischen Netzen, Echo und Pegelprobleme verschlechtern die Sprachqualität, ohne dass klassische Netzzähler es bemerken.
Die Messung der Sprachqualität liefert einen reproduzierbaren Wert, der sich über Netze und Technologien hinweg vergleichen und für SLAs verwenden lässt.
Vom Hörtest zum Algorithmus
Massstab ist das menschliche Urteil. In Hörtests nach ITU-T P.800 haben Gruppen von Testhörern über Jahre Sprachproben auf einer fünfstufigen Skala bewertet; der Mittelwert ist der Mean Opinion Score (MOS).
| MOS | Qualität | Höranstrengung |
|---|---|---|
| 5 | Ausgezeichnet | Keine |
| 4 | Gut | Gering |
| 3 | Ordentlich | Mässig |
| 2 | Dürftig | Erheblich |
| 1 | Schlecht | Trotz Anstrengung unverständlich |
Hörtests sind allerdings langwierig, aufwendig und teuer. Objektive Modelle sagen automatisch und rund um die Uhr voraus, welchen MOS die Testhörer vergeben würden. Das Ergebnis heisst MOS-LQO (Listening Quality Objective).
Messung mit Referenzsignal
Am genauesten ist die intrusive Messung mit Referenzsignal (Full Reference): Eine bekannte Sprachprobe wird durch die Verbindung geschickt und am anderen Ende aufgezeichnet; ein Wahrnehmungsmodell des menschlichen Hörens und Verstehens vergleicht die beeinträchtigte Aufnahme mit dem Original. So arbeiten PESQ®, POLQA® und AnchorMOS.
Verfahren ohne Referenzsignal und Schätzungen aus Netzparametern wie das E-Modell brauchen keine Testanrufe, sind aber ungenauer: Wann reicht eine Messung ohne Referenzsignal?
PESQ®
- 2001 als ITU-T P.862 standardisiert, für Schmalband-Telefonie (300 bis 3400 Hz).
- P.862.1 bildet den Rohwert auf die MOS-LQO-Skala ab; P.862.2 erweitert PESQ® auf Breitbandsprache.
- PESQ® war über viele Jahre der Industriestandard für das Benchmarking von Festnetz, Mobilfunk und VoIP.
- Grenzen: entwickelt vor HD Voice und modernen Codecs; weniger zuverlässig bei Zeitverzerrung, Packet Loss Concealment (Verschleierung verlorener Pakete) und Breitband- oder Super-Breitband-Signalen.
- Im Januar 2024 von der ITU-T zurückgezogen, zugunsten von P.863 (POLQA®). Weil ein grosser Teil der historischen Daten auf PESQ® beruht, bleibt es für Langzeitvergleiche im Einsatz.
POLQA®
- 2011 als ITU-T P.863 standardisiert, der Nachfolger von PESQ®.
- Deckt Schmalband bis Super-Breitband und Fullband ab, in der Ausgabe von 2018 das ganze Hörspektrum bis 20 kHz, und ist damit die Referenz für HD Voice, VoLTE, VoWiFi und moderne VoIP-Codecs wie AMR-WB, EVS und Opus.
- POLQA® kommt mit Effekten zurecht, die PESQ® Schwierigkeiten bereiten: zeitliche Dehnung und Stauchung, schwankendes Delay (Verzögerung) und modernes Packet Loss Concealment.
- Seit dem Rückzug von P.862 das Modell der ITU-T für die Hörqualität mit Referenzsignal, empfohlen für alle neuen Messkampagnen.
AnchorMOS
- Von x-fabric selbst entwickelt, um HD Voice in der Fläche zu messen.
- Das Ergebnis ist ein MOS auf der vertrauten fünfstufigen Skala.
- AnchorMOS weicht bei 997 von 1000 Testanrufen um weniger als einen Zehntelpunkt vom Referenzwert ab.
- Lässt sich in der Auswertungskette von mosprobe parallel zu PESQ® und POLQA® einsetzen, sodass alle drei Werte nebeneinander vorliegen.
Zwischen SIP, ISDN und analogen Anschlüssen
Wir unterstützen Testanrufe über die Technologiegrenzen hinweg, Ende zu Ende und in beide Richtungen: von einem SIP-Anschluss zu einem analogen oder ISDN-Anschluss und zurück, durch die Media-Gateways dazwischen. In Netzen nach der All-IP-Umstellung verändert sich ein Gespräch genau dort am stärksten. Das Gateway transcodiert, ein Breitbandgespräch fällt am analogen oder ISDN-Ende auf Schmalband zurück, Pegel und Echo ändern sich.
Analoge Anschlüsse und ISDN übertragen Schmalbandsprache (G.711). Für diese Gespräche läuft POLQA® deshalb im Schmalband-Modus, oder PESQ®, wo bestehende Messreihen vergleichbar bleiben müssen. Neben dem MOS zeigen Verbindungsaufbauzeit und Verbindungserfolg, ob die Gateways richtig signalisieren. Eine mosprobe-ng vereint SIP/RTP (als Option), ISDN und analoge Anschlüsse (POTS) in einem Gerät.
Was eine gute Messung braucht
Fragen und Antworten
Messwerte verstehen
Welcher MOS-Wert ist gut?
Das hängt vom Modell und seinem Modus ab; ein Wert ist nur zusammen mit dem Verfahren aussagekräftig, mit dem er ermittelt wurde. Als Anhaltspunkt für Schmalband-Telefonie: Mit POLQA® im Schmalband-Modus erreicht ein ungestörtes G.711-Gespräch etwa 4,3, ein Mobilfunkgespräch mit AMR bei 12,2 kbit/s etwa 4,2. Die Qualitätsklassen der ITU-T für die Netzplanung (G.109) gelten Nutzer ab etwa 4,0 als zufrieden; zwischen 3,6 und 4,0 sind einige unzufrieden, unter 3,6 viele.
Im Super-Breitband- oder Fullband-Modus liegen dieselben Gespräche tiefer, weil die fehlende Bandbreite als Mangel zählt. Dort erreicht eine unverfälschte Übertragung 4,75.
Warum erreicht keine Messung einen MOS von 5?
Weil auch Testhörer selten eine 5 vergeben. Selbst eine unverfälschte Aufnahme kommt im Hörtest im Mittel auf rund 4,5, denn nicht jeder Hörer gibt ihr die Bestnote. Objektive Modelle sind darauf trainiert, diese Urteile vorherzusagen, und haben deshalb dieselbe Obergrenze: PESQ® und POLQA® im Schmalband-Modus enden bei etwa 4,5, POLQA® im Super-Breitband-Modus bei 4,75. Ein Schmalband-Wert von 4,4 liegt also nahe an dem, was ein Gespräch bestenfalls erreicht.
Lassen sich Werte von PESQ® und POLQA® vergleichen?
Nicht direkt. Es sind verschiedene Modelle, an unterschiedlichen Daten validiert, und sie reagieren unterschiedlich auf moderne Codecs, zeitliche Verzerrung und Packet Loss Concealment. Selbst POLQA® bewertet auf zwei Skalen: Dasselbe G.711-Gespräch liegt im Super-Breitband-Modus fast einen Punkt tiefer als im Schmalband-Modus.
Zu jedem Ergebnis gehören deshalb Modell und Modus. Wer von PESQ® auf POLQA® umstellt, misst eine Zeit lang beides, um die alte Messreihe an die neue anzuschliessen.
Was bedeuten MOS-LQS, MOS-LQO und MOS-CQE?
ITU-T P.800.1 kennzeichnet jeden MOS danach, was bewertet wurde und woher die Zahl stammt. LQ steht für Hörqualität (Listening Quality), CQ für Gesprächsqualität (Conversational Quality), die auch Delay und Echo berücksichtigt. Der letzte Buchstabe nennt die Quelle: S für einen subjektiven Test mit Testhörern, O für ein objektives Modell, das das Signal auswertet, etwa PESQ® oder POLQA®, und E für eine Schätzung aus Netzparametern, etwa mit dem E-Modell. Ein Ergebnis von POLQA® ist ein MOS-LQO, eines des E-Modells ein MOS-CQE.
Das richtige Verfahren
PESQ® oder POLQA®: Welches Verfahren wofür?
Für neue Messungen POLQA® (ITU-T P.863); PESQ® (P.862) nur noch, um bestehende Messreihen fortzuführen, vor allem in Schmalband-Netzen.
Was bedeuten Schmalband, Breitband, Super-Breitband und Fullband?
Sie beschreiben, wie viel vom Tonspektrum ein Gespräch überträgt. Je breiter das Band, desto natürlicher und verständlicher klingt die Stimme.
| Band | Frequenzen | Typische Codecs |
|---|---|---|
| Schmalbandklassische Telefonie | 300–3400 Hz | G.711, AMR-NB |
| BreitbandHD Voice | 50–7000 Hz | G.722, AMR-WB |
| Super-Breitband | 50–14000 Hz | EVS, Opus |
| Fullband | 20–20000 Hz | EVS, Opus |
Schmalband ist, was analoge Anschlüsse, ISDN und ältere Mobilfunknetze übertragen. HD Voice meint meist Breitband; EVS in VoLTE geht darüber hinaus.
Wie misst man HD Voice, VoLTE und VoWiFi?
Mit POLQA® im Fullband- oder Super-Breitband-Modus, nicht im Schmalband-Modus, dessen Skala das breitere Band nicht belohnt, und mit Referenzsprache, die in voller Bandbreite aufgenommen und mit 48 kHz abgetastet ist. Gemessen wird Ende zu Ende, einschliesslich der Netzübergänge: Wird ein Gespräch unterwegs irgendwo auf Schmalband transcodiert, ist der HD-Vorteil weg, und der Wert zeigt es. Veröffentlichte typische Werte im Super-Breitband-Modus sind etwa 3,8 für ein AMR-WB-Gespräch und etwa 3,5 für G.711.
VoLTE und VoWiFi nutzen dieselben IMS-Sprachcodecs, AMR-WB und EVS, und werden deshalb gleich gemessen, in beide Richtungen.
Wann reicht eine Messung ohne Referenzsignal?
Eine Messung ohne Referenzsignal eignet sich, wenn grosse Mengen echter Gespräche beobachtet werden und kein Benchmarking nötig ist. Modelle ohne Referenz wie ITU-T P.563, entwickelt für Schmalband, beurteilen ein empfangenes Signal für sich allein; parametrische Modelle schätzen die Qualität aus Paketdaten wie Packet Loss, Jitter und Codec, ohne das Sprachsignal auszuwerten. Beide kommen ohne Testanrufe aus, können aber nicht erkennen, ob ankommt, was gesagt wurde.
Wie hängen R-Faktor und MOS zusammen?
Der R-Faktor ist das Ergebnis des E-Modells nach ITU-T G.107, eines Planungswerkzeugs, das Beeinträchtigungen durch Delay, Echo, Packet Loss und Codec von einem Höchstwert von 100 für Schmalband abzieht. G.107 rechnet R in einen geschätzten MOS um (MOS-CQE): R 80 entspricht etwa 4,0, R 70 etwa 3,6 und R 50 etwa 2,6. Eine ungestörte Schmalband-Verbindung erreicht R 93,2, etwa MOS 4,4; das Breitband-E-Modell (G.107.1) erweitert die Skala bis 129.
Der E-Modell-Rechner der ITU-T stammt von uns: x-fabric hat ihn 2007 entwickelt und der ITU-T übergeben. Heute rechnet er dort online für Schmal-, Breit- und Fullband. Unseren eigenen E-Modell-Rechner nach den aktuellen Ausgaben finden Sie hier auf der Website.
In der Praxis
Welche Sprachproben verwendet man?
Man verwendet aufgenommene Sprache in kurzen Sätzen von Sprecherinnen und Sprechern, mit natürlichen Pausen und definiertem Pegel, anstelle von Tönen oder synthetischen Signalen. ITU-T P.501 stellt solche Sprachdateien in mehreren Sprachen frei zum Herunterladen bereit, und der Anwendungsleitfaden ITU-T P.863.1 erklärt, wie viel Material man braucht und welche Pegel man einstellt.
Andere Proben ergeben andere Werte; eine Messkampagne verwendet deshalb durchgehend dieselben Sprachproben.
Warum reichen gute Netzwerte wie Packet Loss und Jitter nicht?
Weil sie Pakete beschreiben, nicht Sprache. Ein Jitter-Puffer gleicht Jitter auf Kosten von Delay aus, Packet Loss Concealment überdeckt verlorene Pakete, und dieselbe Packet Loss Rate klingt je nach Codec anders und je nachdem, ob Pakete einzeln oder in Serien verloren gehen. Transcodierung, Echo, falsche Pegel, Übersteuerung, Rauschunterdrückung und Gespräche, in denen nur eine Seite die andere hört, tauchen in Paketstatistiken gar nicht auf.
Was ist mit Delay und Echo?
Modelle für die Hörqualität wie PESQ® und POLQA® richten die Aufnahme zeitlich an der Referenz aus und bewerten nur, was zu hören ist. Delay bestrafen sie nicht, und das eigene Echo des Sprechers erreicht die Aufnahme am anderen Ende nie; beides muss man deshalb gesondert messen.
Nach ITU-T G.114 bleibt die Interaktion bei den meisten Anwendungen unterhalb von 150 ms One-Way Delay (Einwegverzögerung), gemessen von Mund zu Ohr, praktisch ungestört; 400 ms sollten in der Netzplanung nicht überschritten werden. Echo stört umso mehr, je länger das Delay ist.