Szczegóły publikacji
Opis bibliograficzny
Predykcja wartości MOS na podstawie otwartego opisu jakości z wykorzystaniem dużych modeli językowych — Prediction of MOS values based on open quality description using Large Language Models / Aleksander Spisak, Lucjan JANOWSKI, Natalia BARTUSIAK, Jakub Nawała // Przegląd Telekomunikacyjny, Wiadomości Telekomunikacyjne ; ISSN 1230-3496 . — 2026 — R. 98 nr 4, s. 493–496. — Bibliogr. s. 496, Streszcz., Abstr. — W artykule podano błędny rocznik czasopisma. — KRiT 2026 : Konferencja Radiokomunikacji i Teleinformatyki : 23–25 września 2026, Wrocław
Autorzy (4)
Słowa kluczowe
Dane bibliometryczne
| ID BaDAP | 170729 |
|---|---|
| Data dodania do BaDAP | 2026-11-18 |
| Tekst źródłowy | URL |
| DOI | 10.15199/59.2026.4.114 |
| Rok publikacji | 2026 |
| Typ publikacji | referat w czasopiśmie |
| Otwarty dostęp | |
| Creative Commons | |
| Czasopismo/seria | Przegląd Telekomunikacyjny, Wiadomości Telekomunikacyjne |
Abstract
This paper introduces a text-to-score framework that derives Mean Opinion Scores (MOS) from unstructured comments, eliminating the necessity for a numerical rating scale. The proposed approach utilizes In-Context Learning (ICL) of Large LanguageModels (LLMs) to infer MOS directly from text. While traditional methods require the use of rigid, discrete scales, this approach preserves the nuances inherent in user feedback. Benchmarking of Claude 3.5 Sonnet, GPT-5.2, and DeepSeek- Chat demonstrated a coefficient of determination R2 in the range of 0.82–0.85 and Pearson correlation above 0.90. The solution also allows for identifying participants whose responses deviate from study protocols. These results suggest that textual descriptions can serve as a valuable and more expressive alternative to traditional numerical scales.
Streszczenie
Niniejsza praca przedstawia system text-to-score, który wyznacza średnią ocenę opinii (MOS) na podstawie nieustrukturyzowanych komentarzy, bez konieczności stosowania skali numerycznej. Proponowane podejście wykorzystuje duże modele językowe (LLM) do wyznaczania MOS bezpośrednio z tekstu. Podczas gdy tradycyjne metody wymagaja˛ użycia sztywnej dyskretnej skali, proponowane podejście pozwala zachować niuanse zawarte w opiniach użytkowników. Porównanie modeli Claude 3.5 Sonnet, GPT-5.2 i DeepSeek-Chat wykazało współczynnik determinacji R2 w przedziale 0,82–0,85 oraz korelację Pearsona powyżej 0,90. Rozwiązanie pozwala również identyfikować użytkowników, których odpowiedzi odbiegają od protokołów badania. Wyniki te sugerują, że opisy tekstowe mogą stanowić wartościową i bogatszą w informacje alternatywę dla tradycyjnych skal liczbowych.