This paper presents the performance evaluation of image and video quality assessment metrics on two publicly available datasets with subjective quality ratings. In addition to the performance ...analysis at the global level – at the level of complete datasets, the paper presents the objective measures performance evaluation on subsets of signals inside them. The image dataset contains five subsets created by using different types of JPEG compression, while the video dataset contains six subsets of sequences – four created by compression of original sequences, and two subsets are with video signal transmission characteristic degradations. To determine the success of objective measures, i.e. comparison of subjective and objective quality scores, there were used measures accepted by the International Telecommunication Union – ITU (linear correlation coefficient, rank-order correlation coefficient, mean absolute error, root mean squared error and outlier ratio). It was shown that objective quality measures can reach a high level of agreement with the results of subjective tests on subsets of datasets. Objective measures performances depend on the type of degradation which significantly affects the performance at the complete dataset level. The difference in performances is more pronounced on video sequences due to considerable visual differences in sequences created by using compression, packet losses and additive Gaussian noise. Therefore, we can say that a universal objective measure, i.e. measure that is useful for different types of signal degradation, for different degradation levels, and for different applications currently does not exist. / В данной статье представлены рабочие характеристики объективных показателей оценки качества фотографий и видео, на основании двух соответствующих баз открытого доступа, с приведенными субъективными оценками качества. Наряду с анализом характеристик на глобальном уровне – полных баз, в данной работе представлен анализ и характеристики показателей подмножеств сигналов в их рамках. База фотографий состоит из пяти подмножеств, сформированных благодаря применению различных типов JPEG сжатия, в то время как видео последовательности содержат шесть подмножеств – четыре из которых образованы сжатием исходных последовательностей, а два подмножества представлены с искажениями, характерными для передачи видеосигналов. При определении успешности сравнения объективных и субъективных показателей качества применялись методы, утвержденные Международным телекоммуникационным содружеством (коэффициент корреляции, ранговая корреляция, средняя абсолютная ошибка и среднеквадратическое отклонение прогнозирования). В работе показано, что объективные показатели подмножеств сигналов из базы данных могут в большой степени совпадать с результатами субъективных тестов. Характеристики объективных показателей зависят от выбора подмножеств – типа искажения, и соответственно значительно влияют на характеристики на глобальном уровне, то есть, на уровне полной базы. Разница характеристик в большей мере выражена в видео последовательностях, вследствие значительных зрительных разниц в последовательностях, образовавшихся в процессе сжатия, потери пакетов и воздействия гауссовского шума. В заключение можно сказать, что на данный момент не существует единых универсальных объективных показателей, применяемых при различных типах искажений сигналов, и при различной степени искажений, и для различного назначения. / U radu su predstavljene performanse objektivnih mera procene kvaliteta slika i videa na dve javno dostupne baze sa subjektivnim impresijama kvaliteta. Pored analize performansi na globalnom planu - nivou kompletnih baza, u radu su analizirane i performanse mera na podskupovima signala unutar njih. Baza slika sadrži pet podskupova nastalih primenom različitih tipova JPEG kompresije, dok baza video- sekvenci sadrži šest podskupova - četiri nastala kompresijom izvornih sekvenci i dva podskupa sa degradacijama karakterističnim za prenos video-signala. Za određivanje uspešnosti objektivnih mera, tj. poređenje subjektivnih i objektivnih skorova kvaliteta, korišćene su mere koje je prihvatio ITU (koeficijent korelacije, korelacija rangova, srednja apsolutna greška, srednja kvadratna greška i standardna devijacija procena). Pokazano je da objektivne mere na podskupovima signala iz baza mogu dostići visok stepen slaganja sa rezultatima subjektivnih testova. Performanse objektivnih mera zavise od tipa degradacije, što znatno utiče na performanse na nivou kompletne baze. Razlika u performansama je izraženija na bazi video-sekvenci zbog znatnih vizuelnih razlika u sekvencama nastalim kompresijom, paketskim gubicima i dodavanjem Gausovog šuma. Zbog toga se može reći da univerzalna objektivna mera, tj. mera koja će biti upotrebljiva kod različitih tipova degradacije signala, za različite stepene degradacije, za različite primene i sl., trenutno ne postoji.
PDF