AVS感知无损压缩标准取得重要进展
云栖网:AVS感知无损压缩(PLC,Perceptual Lossless Compression)标准制定工作自2021年12月启动,针对8K+超高清视频信号传输中高速数据收发的性能瓶颈研发一系列 “超低延时、硬件友好、主观无损”的轻量级图像压缩技术,历经18个月的深入研究和激烈讨论,于2023年5月正式输出感知无损压缩标准征求意见稿(FCD 1.0)。经符合国际标准的主观质量测试,达到了国际领先水平。
关键技术
图1 PLC参考软件平台(HIM)信号处理流水
PLC标准包含两个档次:接口档次和帧存档次。前者主要面向信号传输接口的硬件芯片(ASIC)设计,后者则可广泛应用于主观无损或信号无损质量等级的图像缓存,减轻图像处理系统中的内存与带宽压力,提升系统总体性能。
具体而言,PLC压缩流程主要包含信号处理、模式预测、量化和系数编码四个模块,另有码率控制作为核心单元穿插在框架中进行整体控制。
1)信号处理:PLC支持将信号切分为等尺寸的矩形片进行并行处理,编码过程中最小的单元为16×2的一组像素。在接口档次下,输出的比特位流允许按照所属通道被分割成固定大小的子流片段,经过交织重组后进行输出。
2)模式预测:PLC包含点预测、普通帧内预测和块复制帧内预测三类预测模式,每个模式的比特代价(包括残差经量化后的码长)和重构失真程度共同决策获得编码单元的最优编码模式。值得一提的是,PLC在保留同类标准中最大尺寸编码单元的纹理拟合优势的同时,借助其预测模式的依赖消除设计,支持了高度并行的硬件处理。
3)量化和系数编码:PLC使用移位量化和半定长系数编码,在保证低硬件成本的前提下实现对预测残差的能量聚集。此外,PLC还支持在特定点位逐像素点的量化参数微调,可以在不增加比特开销的同时显著优化纹理细节的主观重建质量。
4)码率控制:码率控制是恒定码率压缩的关键模块,其中比特分配的过程必须兼顾重建质量与传输代价。PLC提出一种基于历史先验自适应更新的码率估计模型,通过对纹理特征建模导出其预分配的编码比特数,随后结合视觉无损的比特下界与位流缓冲的比特上界进行适当放缩,最终映射导出实际的量化步长。
图2 对比国际同类标准(DSC),PLC资源分配更加灵敏,所需的缓冲资源更低
经过上述一系列轻量级压缩技术的研发,PLC实现了对8~16比特位宽的RGB、YUV (444/422/420/400) 格式信号的最小8比特每像素(bpp)恒定比特率输出,这些保证低延时和高硬件并行度的同时又能兼顾主观质量的技术设计最终实现了PLC在各类测试序列上的主观无损、客观近无损压缩。
主客观性能
在AVS工作组遴选的27组测试信号中,PLC标准参考软件表现出了优秀的客观重建质量,在ISO 29170-2国际主观质量标准的判定中,PLC闪烁测试有25/27条序列达到主观无损的判定标准,并排测试全部27/27条序列均达到主观无损(主客观评测结果请见图3)。
图3 客观重建数据与主观评测结果(序列17为噪声序列)
在测试的27组信号中,难度最高的10条信号被进一步用来进行PLC与国际同类压缩标准DSC的主观质量对比,其中PLC的主观质量在闪烁测试中与之持平(均为8/10条序列达到主观无损),在并排测试中更优(PLC: 10/10; DSC: 9/10)。
总结
PLC标准的制定是AVS工作组在视觉无损质量等级视频图像压缩领域的第一次尝试;也是AVS视频图像压缩系列标准中又一次着重从硬件角度出发,同时兼顾压缩质量与硬件设计成本的深入探索。历经18个月的潜心研究和激烈讨论,PLC标准成功实现了以更低硬件成本支撑更高信号质量的设计目标,其硬件编解码器处理性能预计可达单核4K@120fps,满足高规格图像的极低成本部署需求,为8K+超高清视频海量信号的超低延时传输、处理提供了新的技术方案。
附录
(闪烁测试与并排测试)
主观质量测试分为两轮,包括闪烁测试和并排测试。测试使用的编解码器为HIM-7.0ahg (sha: acbe1a97) 版本,配置为8bpp+接口档次+1920x1080 Slice划分。
1)闪烁测试:闪烁测试为单栏测试,即屏幕中只显示一幅图像或视频。受试者在认真浏览整个信号区域后判断当前显示为图像还是视频(图像指所有区域都是静止的,视频会在某些区域存在闪烁),这一过程中建议按照‘Z’字型逐片扫视信号区域。
2)并排测试:并排测试为双栏测试,即屏幕中左右共显示两幅图像(均为静止)。受试者需要判断两幅图像中的内容是否存在区别。图像内容的差异程度与闪烁测试高度相关,即闪烁越明显的区域往往纹理差异越大,因此建议扫视过程中针对性判断重点区域。
受试者所需下达的结论包含两个阶段,在第一阶段通过闪烁测试判定“观测到闪烁”和“未观测到闪烁”;对于观测到闪烁的内容进行第二轮并排对比测试,判定“观测到差异”和“未观测到差异”:
1)首先进行闪烁测试:测试信号可分为两组:原图+原图(A组)、原图+重建图(B组),每组都是两张图象以固定8Hz频率交替闪烁的视频。该方法中的闪烁测试只需要展示闪烁测试的图像,并排对比的两侧测试信号是上述信号的组合,包含AB、BA两种情况,按照随机顺序进行完整测试。
2)其次,对于被标定为“观测到闪烁”的图像,并排测试的信号分为左右两侧,分别是原始信号和重建信号(顺序随机),并排测试需要同时在一台设备上(或两台完全相同的设备上)以非缩放/重采样方式同时展示。