IEEE TCSVT 语义通信与视觉传输调研（2023—至今）

数据集/场景SUIM、EUVP、UFO、UIEBD

BaselineJPEG2000、BPG、VVC-intra、Mentzer 等生成式压缩及水下图像压缩方法

评价指标bpp、PSNR、SSIM、LPIPS、FID、DISTS、前景 PSNR、主观排序

信道与工作点acoustic channel

数据集/场景MSCOCO、Flickr30K,并利用预训练图文数据

BaselineSCAN、VSRN、UNITER、ViSTA 等检索模型、连续 CSTRN、5-8 bit 量化 + 卷积码 + Viterbi

评价指标R@1、R@5、R@10、Rsum、传输带宽、不同 BER 下鲁棒性

信道与工作点BER of 0.2

数据集/场景Xiph:Into Tree、Kristen and Sara、Johnny、1280×720、30 fps,GOP=4

Baseline单用户、多用户 SoftCast、OMA、既有 NOMA-UVT 资源分配

评价指标总 MSE、各用户 MSE、PSNR、优化收敛与公平性

信道与工作点Rayleigh、NOMA、fading channel、OFDM

数据集/场景MS COCO,256×256 图像

BaselineJPEG、Ballé、学习式压缩、VVC、VTM、生成式低码率方法

评价指标bpp、LPIPS、DISTS、FID、IS、PSNR、BD-rate

信道与工作点全文未稳定定位

数据集/场景LFW、VGGFace2

BaselineJPEG、JPEG2000、WebP、Ballé learned codec、BPG 等

评价指标bpp、PSNR、SSIM、LPIPS、FID、face verification、recognition accuracy

信道与工作点0.03 bpp、0.1 bpp、0.3 bpp、0.015 bpp

数据集/场景ImageNet、Cityscapes、COCO、DAVIS(按任务)

Baselinepixel-domain ResNet、VGG、DeepLab 等、NLAIC、Cheng2020 等 learned image codecs、既有 compressed-domain 方法

评价指标Top-1、mIoU、mAP、bpp、FLOPs、时延与率准确率曲线

信道与工作点0.595 bpp、9.01 Bpp

数据集/场景Open Images、MPEG-VCM CTC,Faster、Mask R-CNN 任务

BaselineMPEG-VCM VTM feature anchor、standard-codec S-MSFC、layer-wise learned codecs

评价指标feature bpp、bitrate、mAP、BD-rate、复杂度

信道与工作点全文未稳定定位

数据集/场景Vimeo-90K 训练、HEVC&CTC、UVG、无人机序列测试

BaselineHEVC、HM、VVC、VTM、多个 learned video codec 版本

评价指标PSNR、MS-SSIM、VMAF、BD-rate、参数量、MACs、FPS

信道与工作点全文未稳定定位

数据集/场景真实、仿真 XR 视频 trace 与无线资源场景

Baseline固定、启发式码率、PPO、DQN 等资源分配基线

评价指标QoE、卡顿、时延、码率、帧质量、收敛与资源利用率

信道与工作点全文未稳定定位

数据集/场景Visual Genome、MSCOCO、Open Images(检测与生成评价)

Baselinecaption-only CMC、VR-CMC、MDet-CMC、其他 text、edge cross-modal compression

评价指标SPICE、CLIPScore、FID、IPD、mAP、bpp、编解码时间

信道与工作点全文未稳定定位

数据集/场景VoxCeleb、AffectNet-8、CASIA-WebFace、LFW

BaselineVVC、VTM 像素编码、FOMM、人脸生成与 descriptor 压缩方案

评价指标码率、expression recognition accuracy、face verification、FID、重建质量

信道与工作点全文未稳定定位

数据集/场景COCO 2017、Kodak

BaselineChoi scalable codec、learned image codecs、VVC、VTM、不同 vision backbone

评价指标BLEU、CIDEr 等 caption 指标、bbox、mask AP、PSNR、bpp、FLOPs、时延

信道与工作点0.291 bpp、0.339 bpp

数据集/场景多类高帧率视频与原型网络 trace

Baseline固定帧率、单边优化和自适应策略

评价指标VMAF、PSNR、bitrate、编码能耗与时延、QoE、FPS

信道与工作点全文未稳定定位

数据集/场景DIV2K

BaselineDeepJSCC、SwinJSCC、WITT 类模型、JPEG、JPEG2000、BPG + 传统链路、单分支网络

评价指标MS-SSIM、PSNR、GFLOPs、总能耗、时延、不同 SNR、压缩率下质量

信道与工作点全文未稳定定位

数据集/场景UCF101,3D ResNet-50、3D CNN

Baseline原始视频、不同层 feature、对数量化、1-bit learned quantization、HEVC 编码

评价指标识别准确率、feature、original data ratio、压缩倍数、码流大小

信道与工作点全文未稳定定位

数据集/场景分类、目标检测图像数据与相应预训练 SC 模型

Baseline传统 robust steganography、cover、stego 检测器 SrNet、XuNet

评价指标payload(bpp)、secret recovery accuracy、BER、PSNR、SSIM、下游分类、检测、steganalysis ROC

信道与工作点0.1bpp、1bpp、1 bpp

数据集/场景HEVC&CTC:Cactus、Kimono、ParkScene、Tennis 等

BaselineSoftCast、不同接收合并、IRS、资源优化方案、数字 H.264、LDPC 类参考

评价指标PSNR、MSE、CSNR、收敛、主、次用户性能

信道与工作点wireless channel、NOMA、IRS、symbiotic radio、fading channel、MIMO、OFDM、SNR = 5dB、SNR = 7 dB、SNR = 5 dB

数据集/场景Kodak、CLIC、DIV2K、真实网络 traces、packet-level simulation

BaselineBPG、VVC、VTM、ELIC、TCM 等 NIC、VTM+FEC、ELIC+FEC、UEP、冗余方案

评价指标PSNR、bpp、BD-rate、packet loss rate、decoding failure probability、latency、complexity

信道与工作点packet loss、0.3 bpp

数据集/场景COCO、ImageNet、Kodak、CLIC

BaselineVVC、VTM、LIC、feature coding、scalable human-machine coding 方法

评价指标bbox、mask mAP、Top-1、PSNR、MS-SSIM、bpp、rate saving、latency

信道与工作点全文未稳定定位

数据集/场景MMSys immersive media traces、多场景用户视角轨迹

Baseline固定 viewport、segment-based prediction 与多种 adaptive control

评价指标data traffic、prediction accuracy、black edge、latency、QoE

信道与工作点全文未稳定定位

数据集/场景通用图像与预训练 image semantic communication 模型

BaselineHiDDeN、MBRS 等 robust watermarking、像素域方法、WITT、SC backbone

评价指标watermark BER、ACC、PSNR、SSIM、下游任务 accuracy gap、FLOPs、MACs

信道与工作点全文未稳定定位

数据集/场景TEDTalk、TikTok、JVET-GFV

BaselineVVC、VTM、MRAA、TPSM、CFTE、LIA、DPE 等 generative face、human codecs

评价指标DISTS、LPIPS、FVD、BD-rate、用户偏好、kbps

信道与工作点全文未稳定定位

数据集/场景Kodak、CLIC、Tecnick

BaselineVVC、VTM、ELIC、TCM、HiFiC、生成式、扩散压缩方法

评价指标PSNR、MS-SSIM、LPIPS、FID、BD-rate、bpp、编码、解码时延

信道与工作点0.15 bpp、0.2 bpp、0.01 bpp、0.069 bpp、0.061 bpp、0.059 bpp、3 bpp、0.063 bpp

数据集/场景Mars32K、MIC,Earth DIV2K 辅助

BaselineJPEG、BPG、HEVC 后处理与多种 restoration、enhancement 网络

评价指标PSNR、SSIM、LPIPS、BD-rate、类别级 ΔPSNR、FLOPs、MACs

信道与工作点全文未稳定定位

数据集/场景COCO、ImageNet、Kodak、CLIC、DIV2K、Open Images

BaselineVVC、VTM、learned image codecs、feature coding 与生成式 scalable methods

评价指标bbox、mask mAP、Top-1、PSNR、MS-SSIM、LPIPS、FID、DISTS、bpp、latency

信道与工作点0.1321 bpp、0.1264 bpp、0.0828 bpp、0.1131 bpp、0.0906bpp、0.1238 bpp、0.0512 bpp

数据集/场景USOD、UIEB、EUVP 等水下图像集

BaselineJPEG、JPEG2000、BPG、VVC、PPECN、生成式和水下专用压缩方法

评价指标bpp、LPIPS、DISTS、FID、PI、前景质量、saliency PR、FLOPs

信道与工作点acoustic channel、0.03 bpp、0.06 bpp、0.01 bpp