← 返回调研主页

Imperial College London Deniz Gündüz 团队语义通信论文调研

面向具有深度学习基础、通信基础较少的读者。检索范围为 2021-01-01 至 2026-07-15;核心表仅保留正式同行评审技术研究论文,会议版若有期刊扩展版则只保留期刊版。

核心论文 37联合信源信道编码(JSCC)与语义信源编码 23通信安全与隐私 4任务导向联合信源信道设计 4多用户接入、广播或中继 3调制/波形与数字物理层接口 2语义信息理论与性能度量 1

先看懂一篇通信论文处在哪

原始数据/任务
语义/信源编码
信道编码
调制、MIMO、OFDM
无线信道
译码/重建/任务

传统系统常分别优化这些方框;语义通信论文通常合并其中若干环节。评价一篇论文时要问:发送的中间表示是什么?占多少信道资源?噪声在哪里加入?接收端恢复的是原始数据还是任务结果?

常见带宽比可写为 $\rho=n/k$,其中 $k$ 是源样本维度,$n$ 是信道使用次数。只有在相同 $\rho$、发射功率和信道模型下,方法间性能比较才公平。

团队技术路线时间线

推荐阅读顺序

  1. DeepWiVe: Deep-Learning-Aided Wireless Video Transmission
    视频传输或生成 · 连续神经 JSCC 信道符号(不属于严格数字语义通信)
  2. Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel
    图像传输或生成 · 连续神经 JSCC 信道符号(不属于严格数字语义通信)
  3. Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks
    图像传输或生成 · 连续神经 JSCC 信道符号(不属于严格数字语义通信)

顺序按“早期基础 → 显式数字化 → 信道/多用户系统 → 最新生成式或跨层工作”组织;引用数只用于帮助挑入口,不代表论文质量排序。

论文筛选与定位表

年份完整标题出版物通信环节团队口径全文
2022Channel-Adaptive Wireless Image Transmission With OFDMIEEE Wireless Communications Letters调制/波形与数字物理层接口directdownloaded
2022DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel CodingIEEE Journal on Selected Areas in Information Theory调制/波形与数字物理层接口directdownloaded
2022DeepWiVe: Deep-Learning-Aided Wireless Video TransmissionIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2022Privacy-Aware Communication over a Wiretap Channel with Generative NetworksICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)通信安全与隐私directdownloaded
2022Progressive Feature Transmission for Split Classification at the Wireless EdgeIEEE Transactions on Wireless Communications任务导向联合信源信道设计directdownloaded
2022Semantic Communications With Discrete-Time Analog Transmission: A PAPR PerspectiveIEEE Wireless Communications Letters联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023A Hybrid Wireless Image Transmission Scheme with Diffusion联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Collaborative Semantic Communication for Edge InferenceIEEE Wireless Communications Letters任务导向联合信源信道设计directdownloaded
2023Deep Joint Source-Channel and Encryption Coding: Secure Semantic Communications通信安全与隐私directdownloaded
2023DeepJSCC-1++: Robust and Bandwidth-Adaptive Wireless Image Transmission联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel多用户接入、广播或中继directdownloaded
2023Generative Joint Source-Channel Coding for Semantic Image TransmissionIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Secure Deep-JSCC Against Multiple Eavesdroppers通信安全与隐私directdownloaded
2023Semantic Communication of Learnable Concepts联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Space-Time Design for Deep Joint Source Channel Coding of Images over MIMO Channels联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024A Theory of Semantic CommunicationIEEE Transactions on Mobile Computing语义信息理论与性能度量directdownloaded
2024AirNet: Neural Network Transmission Over the AirIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Deep Joint Source-Channel Coding for Adaptive Image Transmission Over MIMO ChannelsIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Evolving Semantic Communication with Generative Modelling联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Transformer-Aided Wireless Image Transmission With Channel FeedbackIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025A Deep Joint Source-Channel Coding Scheme for Hybrid Mobile Multi-Hop NetworksIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Compression Beyond Pixels: Semantic Compression with Multimodal Foundation Models2025 IEEE 35th International Workshop on Machine Learning for Signal Processing (MLSP)联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Deep Joint Source Channel Coding for Privacy-Aware End-to-End Image TransmissionIEEE Transactions on Machine Learning in Communications and Networking通信安全与隐私directdownloaded
2025Goal-Oriented Joint Source–Channel Coding: Distortion–Classification–Power Trade-offICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)任务导向联合信源信道设计directdownloaded
2025Multi-Hop Deep Joint Source-Channel Coding With Deep Hash Distillation for Semantically Aligned Image RecoveryICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Pragmatic Communication for Remote Control of Finite-State Markov ProcessesIEEE Journal on Selected Areas in Communications任务导向联合信源信道设计directdownloaded
2025Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay NetworksIEEE Journal on Selected Areas in Communications多用户接入、广播或中继directdownloaded
2025SCSC: A Novel Standards-Compatible Semantic Communication Framework for Image TransmissionIEEE Transactions on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Semantics-Guided Diffusion for Deep Joint Source-Channel Coding in Wireless Image TransmissionIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Token-Domain Multiple Access: Exploiting Semantic Orthogonality for Collision MitigationIEEE INFOCOM 2025 - IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS)多用户接入、广播或中继directdownloaded
2025Zero-Shot Semantic Communication With Multimodal Foundation ModelsIEEE Transactions on Vehicular Technology联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026Diffusion Posterior Sampling with Channel Feedback for Adaptive Semantic CommunicationICC 2026 - IEEE International Conference on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026Diffusion-Aided Extreme Video Compression with Lightweight Semantics GuidanceICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026In-Context Learning for Deep Joint Source-Channel Coding Over MIMO ChannelsIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026Learning to Interfere in Non-Orthogonal Multiple-Access Joint Source-Channel CodingIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded

通信小白术语表

信源编码去掉源数据中的冗余,目标是用更少 bit/符号表示内容。
信道编码加入受控冗余,让接收端能够发现或纠正无线传输产生的错误。
JSCC联合信源信道编码;把压缩和抗噪声传输一起设计。
SNR信噪比;越低表示噪声相对越强。比较方法时必须保证 SNR 定义和功率约束一致。
带宽比/CBR信道使用次数相对源维度或像素数的比例,是通信开销而不是模型参数量。
CSI信道状态信息;发射端/接收端是否知道它,会显著改变问题难度。
cliff effect传统分离链路在低于解码门限后性能突然崩溃;模拟式 DeepJSCC 常呈渐进退化。
语义指标以任务正确率、BLEU、CLIP 相似度等衡量意义是否保留,但不自动等价于可靠通信。

Channel-Adaptive Wireless Image Transmission With OFDM

2022 · IEEE Wireless Communications Letters · 调制/波形与数字物理层接口

作者:Haotian Wu; Yulin Shao; Krystian Mikolajczyk; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确定:我们提出了一种基于学习的信道自适应联合源与信道编码(CA-JSCC)方案,用于多径衰落信道上的无线图像传输。 PDF p.1
  2. 仍然存在的问题:许多已学习的语义链止于连续的潜在状态,导致量化、有限符号映射以及位/索引错误的后果超出学习设计范围。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺乏本文随后引入的论文专用机制:具体来说,通过提出的双关注机制,我们的模型可以学习映射特征,并根据估计的CSI合理分配传输功率资源到可用子信道。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了利用OFDM实现信道自适应无线图像传输。其具体设计总结如下:我们提出了一种基于学习的信道自适应联合信源信道编码(CA-JSCC)方案,用于多径衰落信道上的无线图像传输。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,具体来说,借助提出的双关注机制,我们的模型可以学习映射特征,并根据估计的CSI合理分配传输功率资源到可用子信道。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1 PDF p.4
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量数值实验验证了CA-JSCC在现有JSCC方案中达到了最先进的性能。 PDF p.3 PDF p.4

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们提出了一种基于学习的信道自适应联合源和信道编码(CA-JSCC)方案,用于多径衰落信道上的无线图像传输。具体来说,借助所提的双关注机制,我们的模型可以学习绘制特征图谱,并根据估计的CSI合理分配传输功率资源到可用子信道。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.4

输入:源是输入图像。 PDF p.1 PDF p.4

发送端:发送方应用论文的语义/信源信道编码器:具体来说,通过提出的双关注机制,我们的模型可以学习映射特征,并根据估计的CSI合理分配传输功率资源到可用子信道。 PDF p.1 PDF p.4

实际发送:传输对象是有限星座符号、OFDM/OTFS资源或受保护的数据包。 PDF p.1 PDF p.4

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为调制符号或编码包经过有噪声物理层。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从均衡或软解调的符号开始,然后进行语义表示,并应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.4

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.4

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:调制/波形与数字物理层接口。决定语义表示如何变成有限星座、子载波、数据包或多天线信号。

给深度学习研究生的解释:这是神经网络 bottleneck 接到实际 modem 的位置;需要明确 bit、symbol、CSI、功率和误码。

实际发送了什么,以及占多少通信资源

表示与数字化判断:有限星座/标准波形接口

发送方发送有限星座符号、OFDM/OTFS资源或受保护数据包。这被归类为:有限星座/标准波形接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:调制符号或编码包经过有噪声物理层

在拟议的传输路径中,信道的处理方式如下:调制符号或编码包经过有噪声物理层。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上是从均衡或软解调的符号开始,然后是语义表示。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:CIFAR-10、ImageNet、Kodak

Baseline:DeepJSCC

指标:PSNR

信道:AWGN、Rayleigh、fading channel、OFDM

实验使用CIFAR-10、ImageNet、柯达;与DeepJSCC比较;与PSNR评估;并使用AWGN、Rayleigh、衰落信道、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

大量数值实验验证了CA-JSCC在现有JSCC方案中实现了最先进的性能。 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值在于补上可部署接口并量化频谱效率、误码、PAPR、CSI 或 MIMO 增益。

局限:虽已有数字接口,残余 bit/index 错误、有限码长开销、同步以及完整 PHY 兼容性仍需进一步验证。

Channel-Adaptive Wireless Image Transmission With OFDM 架构/方法页
Channel-Adaptive Wireless Image Transmission With OFDM,原 PDF 第 1 页(架构/方法页)。
Channel-Adaptive Wireless Image Transmission With OFDM 关键结果页
Channel-Adaptive Wireless Image Transmission With OFDM,原 PDF 第 4 页(关键结果页)。

DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding

2022 · IEEE Journal on Selected Areas in Information Theory · 调制/波形与数字物理层接口

作者:Tze-Yang Tung; David Burth Kurka; Mikołaj Jankowski; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已证明,近期研究显示现代机器学习技术可以为长期存在的联合信源信道编码(JSCC)问题提供替代方法。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:许多已学习的语义链止于连续的潜在状态,导致量化、有限符号映射以及位/索引错误的后果超出学习设计范围。 PDF p.1
  3. 为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺少本文随后引入的论文特有机制:因此,我们将编码器f分为两个阶段:首先是DNN函数fθ : {0, ..., 255}H×W×C 7→Ck将输入图像x映射到复潜在表示z = fθ(x),然后是量化器qC : Ck 7→Ck将潜在向量z映射到信道输入 ̄z = qC(z)。 PDF p.1
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,论文开发了DeepJSCC-Q:星座约束深度联合信源信道编码。其具体设计总结如下:本文提出DeepJSCC-Q,一种端到端优化的JSCC无线图像传输解决方案,采用有限信道输入字母表。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果联系在于,因此我们将编码器f分为两个阶段:首先,DNN函数fθ : {0, ..., 255}H×W×C 7→Ck将输入图像x映射到复潜在表示z = fθ(x),然后是量化器qC : Ck 7→Cn将潜在向量z映射到信道输入 ̄z = qC(z)。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们证明DeepJSCC-Q能够实现与以往允许任何复数值信道输入的研究类似的性能,尤其是在高调制阶数可用时,且随着调制阶数的增加,性能逐渐接近无约束信道输入。 PDF p.10 PDF p.13 PDF p.14

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文提出DeepJSCC-Q,一种端到端优化的JSCC无线图像传输解决方案,采用有限信道输入字母表。因此,我们将编码器f分为两个阶段:首先,DNN函数fθ : {0, ..., 255}H×W×C 7→Ck将输入图像x映射到复潜在表示z = fθ(x),然后是量化器qC : Ck 7→Ck将潜向量z映射到信道输入 ̄z = qC(z)。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文中的语义/信源信道编码器:因此,我们将编码器f分为两个阶段:首先是DNN函数fθ : {0, ..., 255}H×W×C 7→Ck将输入图像x映射到复潜在表示z = fθ(x),然后是量化器qC : Ck 7→Ck将潜在向量z映射到信道输入 ̄z = qC(z)。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是有限星座符号、OFDM/OTFS资源或受保护的数据包。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为调制符号或编码包经过有噪声物理层。 PDF p.2 PDF p.3 PDF p.4

接收端:接收端从均衡或软解调的符号开始,然后进行语义表示,并应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:调制/波形与数字物理层接口。决定语义表示如何变成有限星座、子载波、数据包或多天线信号。

给深度学习研究生的解释:这是神经网络 bottleneck 接到实际 modem 的位置;需要明确 bit、symbol、CSI、功率和误码。

实际发送了什么,以及占多少通信资源

表示与数字化判断:有限星座/标准波形接口

发送方发送有限星座符号、OFDM/OTFS资源或受保护数据包。这被归类为:有限星座/标准波形接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:调制符号或编码包经过有噪声物理层

在拟议的传输路径中,信道的处理方式如下:调制符号或编码包经过有噪声物理层。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3 PDF p.4

接收端实际上是从均衡或软解调的符号开始,然后是语义表示。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3 PDF p.4

实验设置与主要结论

数据集:ImageNet、Kodak、MNIST

Baseline:DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Turbo、separation-based

指标:PSNR、SSIM、MS-SSIM、accuracy、throughput

信道:AWGN、fading channel、OFDM、BEC、erasure channel、QAM、PSK

实验中使用ImageNet、柯达、MNIST;与DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Turbo、基于分离的软件进行比较;通过PSNR、SSIM、MS-SSIM、准确率和吞吐量进行评估;并使用AWGN、衰落信道、OFDM、BEC、擦除信道、QAM、PSK。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3 PDF p.4

我们证明,DeepJSCC-Q 能够实现与以往允许任何复数值信道输入的研究类似的性能,尤其是在高调制阶存在时,且随着调制阶数的增加,性能逐渐接近无约束信道输入。 PDF p.10 PDF p.13 PDF p.14

通信审稿价值与 Codex 判断

价值在于补上可部署接口并量化频谱效率、误码、PAPR、CSI 或 MIMO 增益。

局限:虽已有数字接口,残余 bit/index 错误、有限码长开销、同步以及完整 PHY 兼容性仍需进一步验证。

DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding 架构/方法页
DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding,原 PDF 第 2 页(架构/方法页)。
DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding 关键结果页
DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding,原 PDF 第 13 页(关键结果页)。

DeepWiVe: Deep-Learning-Aided Wireless Video Transmission

2022 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Tze-Yang Tung; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关工作已确立:我们呈现<斜体 xmlns:mml=“http://www.w3.org/1998/Math/MathML” xmlns:xlink=“http://www.w3.org/1999/xlink”>DeepWiVe</i>),这是首个端到端联合信源信道编码(JSCC)视频传输方案,利用深度神经网络(DNN)的力量,将视频信号直接映射到信道符号,将视频压缩、信道编码和调制步骤结合为单一神经变换。 PDF p.1
  2. 仍然存在的问题:然后,我们利用强化学习(RL)训练带宽分配网络,优化视频帧间有限可用带宽的分配,以最大化整体视觉质量。 PDF p.1 PDF p.2 PDF p.9
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来介绍的论文特有机制:然后,我们通过强化学习(RL)训练带宽分配网络,优化有限可用带宽在视频帧间的分配,以最大化整体视觉质量。 PDF p.1 PDF p.2 PDF p.9
  4. 为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,该论文开发了DeepWiVe:深度学习辅助无线视频传输。其具体设计总结如下:我们呈现<斜体 xmlns:mml=“http://www.w3.org/1998/Math/MathML” xmlns:xlink=“http://www.w3.org/1999/xlink”>DeepWiVe</i>),这是首个端到端联合信源信道编码(JSCC)视频传输方案,利用深度神经网络(DNN)的力量,将视频信号直接映射到信道符号,将视频压缩、信道编码和调制步骤结合为单一神经转换。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,我们通过强化学习(RL)训练带宽分配网络,优化有限可用带宽在视频帧间的分配,以最大化整体视觉质量。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.3 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们的结果显示,<斜体 xmlns:mml=“http://www.w3.org/1998/Math/MathML” xmlns:xlink=“”http://www.w3.org/1999/xlink“>DeepWiVe</i> 能够克服<斜体 xmlns:mml=”http://www.w3.org/1998/Math/MathML“ xmlns:xlink=”http://www.w3.org/1999/xlink“>悬崖效应</i>,这种效应在传统基于分离的数字通信方案中较为常见,并能在估计信道质量与实际信道质量不匹配的情况下实现优雅的降级。<斜体 xmlns:mml=“http://www.w3.org/1998/Math/MathML” xmlns:xlink=“”http://www.w3.org/1999/xlink“>DeepWiVe</i> 在所有信道条件下,以多尺度结构相似指数度量(MS-SSIM)为基础,比 H.264 视频压缩及低密度奇偶校验(LDPC)码高出 0.0485,平均比 H.265+ LDPC 高出 0.0069。 PDF p.5 PDF p.6 PDF p.7

系统怎么工作

该系统是视频传输或生成的端到端通信链路。我们介绍<斜体 xmlns:mml=“http://www.w3.org/1998/Math/MathML” xmlns:xlink=“http://www.w3.org/1999/xlink”>DeepWiVe</i>,这是首个端到端联合信源信道编码(JSCC)视频传输方案,利用深度神经网络(DNN)的力量,将视频信号直接映射到信道符号,将视频压缩、信道编码和调制步骤整合为单一神经转换。然后,我们利用强化学习(RL)训练带宽分配网络,优化视频帧间有限可用带宽的分配,以最大化整体视觉质量。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.3 PDF p.5

输入:其来源是视频帧或视频语义。 PDF p.1 PDF p.3 PDF p.5

发送端:发送方应用论文的语义/信源信道编码器:然后,我们利用强化学习(RL)训练带宽分配网络,优化视频帧间有限可用带宽的分配,以最大化整体视觉质量。 PDF p.1 PDF p.3 PDF p.5

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.3 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.3 PDF p.5

输出:最终输出是重建或生成的视频。 PDF p.1 PDF p.3 PDF p.5

它在通信系统的哪个位置

研究任务:视频传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、LDPC、H.264、H.265、separation-based

指标:PSNR、SSIM、MS-SSIM、latency

信道:AWGN、QAM

实验使用论文中所述的源/任务数据集;与基于分离的DeepJSCC、LDPC、H.264、H.265进行比较;评估时效为PSNR、SSIM、MS-SSIM和延迟;并使用AWGN、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

我们的结果表明,<斜体 xmlns:mml=“http://www.w3.org/1998/Math/MathML” xmlns:xlink=“”http://www.w3.org/1999/xlink“>DeepWiVe</i> 能够克服<斜体 xmlns:mml=”http://www.w3.org/1998/Math/MathML“ xmlns:xlink=”http://www.w3.org/1999/xlink“>悬崖效应</i>,这种现象在传统基于分离的数字通信方案中很常见,并能在估计与实际信道质量不匹配的情况下实现优雅的降级。<斜体 xmlns:mml=“http://www.w3.org/1998/Math/MathML” xmlns:xlink=“”http://www.w3.org/1999/xlink“>DeepWiVe</i> 在所有信道条件下,以多尺度结构相似指数度量(MS-SSIM)为基础,比 H.264 视频压缩及低密度奇偶校验(LDPC)码高出 0.0485,平均比 H.265+ LDPC 高出 0.0069。 PDF p.5 PDF p.6 PDF p.7

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

DeepWiVe: Deep-Learning-Aided Wireless Video Transmission 架构/方法页
DeepWiVe: Deep-Learning-Aided Wireless Video Transmission,原 PDF 第 1 页(架构/方法页)。
DeepWiVe: Deep-Learning-Aided Wireless Video Transmission 关键结果页
DeepWiVe: Deep-Learning-Aided Wireless Video Transmission,原 PDF 第 8 页(关键结果页)。

Privacy-Aware Communication over a Wiretap Channel with Generative Networks

2022 · ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) · 通信安全与隐私

作者:Ecenaz Erdemir; Pier Luigi Dragotti; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立:我们研究通过端到端学习通过窃听渠道进行隐私意识通信。 PDF p.1
  2. 仍然存在的问题:即使代表窃听者的分类器是最优的,也无法获得(10),因为我们将I(T;Y n E )在目标中。 PDF p.1 PDF p.3
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺少本文随后引入的论文特有机制:爱丽丝希望通过二进制对称信道向鲍勃传输源信号,而被动窃听者伊芙则试图根据爱丽丝信号的被窃听信号推断出其源的敏感属性。 PDF p.1 PDF p.3
  4. 为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了基于生成网络的窃听信道上的隐私感知通信。其具体设计总结如下:由于我们通常无法获得真实分布,我们提出了一种基于数据的数据的方法,采用基于变分自编码器(VAE)的联合信源信道编码(JSCC)。 PDF p.1
  6. 方案为什么有可能起作用:因果关系在于,爱丽丝希望通过二进制对称信道向鲍勃传输源信号,而被动窃听者伊芙则试图根据被窃听的信号推断爱丽丝源的敏感属性。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:在AE框架内难以实现这一点,同时也允许基于MI计算成本函数的变分近似。 PDF p.2 PDF p.3

系统怎么工作

该系统是语义信息度量与理论的端到端通信链路。由于我们通常无法获得真实分布,我们提出了一种基于数据驱动的方法,采用基于变分自编码器(VAE)的联合信源信道编码(JSCC)。爱丽丝想通过二进制对称信道向鲍勃发送源信号,而被动窃听者伊芙则试图根据听到的信号推断爱丽丝源的敏感属性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源是一个源-任务-信道概率模型。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:爱丽丝希望通过二进制对称信道向鲍勃发送源信号,而被动窃听者伊芙则试图根据听到的信号推断爱丽丝源的敏感属性。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是一个界限、度量或优化原则。 PDF p.1

它在通信系统的哪个位置

研究任务:语义信息度量与理论

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建了界限、度量或优化原则。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.4

实验设置与主要结论

数据集:MNIST

Baseline:BERT

指标:accuracy

信道:OFDM、BSC、binary symmetric channel

实验使用MNIST;与BERT比较;准确评估;并使用OFDM、BSC、二进制对称信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.4

在AE框架下很难实现这一点,同时也便于基于MI计算成本函数的变分近似。 PDF p.2 PDF p.3

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

Privacy-Aware Communication over a Wiretap Channel with Generative Networks 架构/方法页
Privacy-Aware Communication over a Wiretap Channel with Generative Networks,原 PDF 第 2 页(架构/方法页)。
Privacy-Aware Communication over a Wiretap Channel with Generative Networks 关键结果页
Privacy-Aware Communication over a Wiretap Channel with Generative Networks,原 PDF 第 3 页(关键结果页)。

Progressive Feature Transmission for Split Classification at the Wireless Edge

2022 · IEEE Transactions on Wireless Communications · 任务导向联合信源信道设计

作者:Qiao Lan; Qunsong Zeng; Petar Popovski; Denız Gündüz; Kaibin Huang

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已经确立了这样一个观点:我们考虑无线边缘推理的情景,即设备连接到边缘服务器,并要求服务器进行远程分类,即对边缘设备可用的数据样本进行分类。 PDF p.1
  2. 仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1 PDF p.2 PDF p.12
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,早期的流程缺少了本文随后引入的论文专用机制:例如,使用MNIST的16个特征图可获得93%的准确率,新增4个特征图则提升到98%。 PDF p.1 PDF p.2 PDF p.12
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文提出了无线边缘分割分类的渐进特征传输理论。其具体设计总结如下:为解决这一问题,我们提出了渐进式特征传输(ProgressFTX)协议,通过逐步传输特征来最小化开销,直到达到目标置信水平。 PDF p.1
  6. 方案为什么有可能起作用:因果关系在于,例如,使用MNIST的16个特征图可获得93%的准确率,而额外4个特征图则使准确率提升至98%。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果同时适用于统计数据模型和真实数据集。 PDF p.6 PDF p.7 PDF p.12

系统怎么工作

该系统是任务导向推理的端到端通信链路。为解决这一问题,我们提出了渐进式特征传输(ProgressFTX)协议,通过逐步传输特征来最小化开销,直到达到目标置信水平。例如,使用MNIST的16个特征图可获得93%的准确率,额外4个特征图则提升至98%。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:例如,使用MNIST中的16个特征图可获得93%的准确率,额外4个特征图则提升准确率至98%。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2 PDF p.3

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.9 PDF p.11

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.9 PDF p.11

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:MNIST

Baseline:论文未在结构化字段中明确列出

指标:accuracy、latency、throughput、BER

信道:fading channel

实验使用MNIST;与论文中标明的参考系统进行比较;以准确性、延迟、吞吐量、BER(质量平均值)评估;并使用衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

实验结果可获得统计数据模型和真实数据集。 PDF p.6 PDF p.7 PDF p.12

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Progressive Feature Transmission for Split Classification at the Wireless Edge 架构/方法页
Progressive Feature Transmission for Split Classification at the Wireless Edge,原 PDF 第 3 页(架构/方法页)。
Progressive Feature Transmission for Split Classification at the Wireless Edge 关键结果页
Progressive Feature Transmission for Split Classification at the Wireless Edge,原 PDF 第 11 页(关键结果页)。

Semantic Communications With Discrete-Time Analog Transmission: A PAPR Perspective

2022 · IEEE Wireless Communications Letters · 联合信源信道编码(JSCC)与语义信源编码

作者:Yulin Shao; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已证明基于深度学习(DL)的联合信源信道编码(DeepJSCC)的最新进展推动了语义通信的新范式。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.5
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的专用机制:由于发射器分配了N个子载波,我们将复向量scpx划分为L = ⌈Le/2N⌉块,记为{sl: l= 0, 1, 2, ..., L −1},每个块sl由N个复符号组成。 PDF p.1 PDF p.2 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了《具有离散时间模拟传输的语义通信:PAPR视角》。其具体设计总结如下:论文发展了标题所述的方法:《与离散时间模拟传输的语义通信:PAPR视角》。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,由于发射器分配了N个子载波,我们将复向量scpx划分为L = ⌈Le/2N⌉块,记作{sl: l= 0, 1, 2, ..., L −1},每个区块sl由N个复符号组成。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告证据为:如图所示,16QAM中OFDMA的99.9百分位PAPR Γ−3在LFDMA和IFDMA下分别提升了2dB和9 dB。 PDF p.4 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了其标题所描述的方法:《具有离散时间模拟传输的语义通信:PAPR视角》。由于发射器分配了N个子载波,我们将复向量scpx划分为L = ⌈Le/2N⌉块,记作{sl: l= 0, 1, 2, ..., L −1},每个块sl由N个复符号组成。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:由于发射端分配了N个子载波,我们将复向量scpx划分为L = ⌈Le/2N⌉块,记作{sl: l= 0, 1, 2, ..., L −1},每个区块sl由N个复符号组成。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.4

实验设置与主要结论

数据集:ImageNet、Kodak

Baseline:DeepJSCC、BPG、LDPC

指标:PSNR、BER、CLIP

信道:AWGN、OFDM、QAM

实验使用了ImageNet、柯达;与DeepJSC、BPG、LDPC比较;用PSNR、BER、CLIP评估;并使用AWGN、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.4

如图所示,16QAM中,OFDMA的99.9百分位PAPR率Γ−3,分别提升了2dB和9 dB。 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Semantic Communications With Discrete-Time Analog Transmission: A PAPR Perspective 架构/方法页
Semantic Communications With Discrete-Time Analog Transmission: A PAPR Perspective,原 PDF 第 2 页(架构/方法页)。
Semantic Communications With Discrete-Time Analog Transmission: A PAPR Perspective 关键结果页
Semantic Communications With Discrete-Time Analog Transmission: A PAPR Perspective,原 PDF 第 4 页(关键结果页)。

A Hybrid Wireless Image Transmission Scheme with Diffusion

2023 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Xueyan Niu; Xu Wang; Denız Gündüz; Bo Bai; Wei-Chao Chen; Guohua Zhou

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已确定输入图像分解为两个部分:第一个是粗压缩版本,采用传统的分离方法传输。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.3 PDF p.4
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏本文随后引入的论文特有机制:通过扩散过程向输入图像添加独立的高斯噪声获得额外分量,并通过DeepJSCC传输。 PDF p.1 PDF p.3 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文提出了一种带有扩散的混合无线图像传输方案。其具体设计总结如下:我们提出了一种混合联合信源信道编码(JSCC)方案,其中传统数字通信方案与生成细化组件相辅相成,以提升重建的感知质量。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,通过扩散过程向输入图像添加独立的高斯噪声,获得额外分量,并通过DeepJSCC传输。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,混合设计能节省带宽,并随着信道质量的提升实现性能的优雅提升。 PDF p.2 PDF p.3 PDF p.4

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们提出了一种混合联合信源信道编码(JSCC)方案,其中传统数字通信方案与生成细化组件相辅相成,以提升重建的感知质量。通过扩散过程,向输入图像添加独立的高斯噪声,获得额外分量,并通过DeepJSCC传输。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:通过扩散过程向输入图像添加独立的高斯噪声获得额外分量,并通过DeepJSCC传输。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2

实验设置与主要结论

数据集:MNIST

Baseline:DeepJSCC、JPEG、LDPC、Polar、Turbo、separation-based

指标:PSNR、SSIM、LPIPS、accuracy

信道:AWGN、OFDM、QAM

实验使用MNIST;与DeepJSCC、JPEG、LDPC、Polar、Turbo、基于分离的软件进行比较;用PSNR、SSIM、LPIPS等准确性进行评估;并使用AWGN、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2

实验结果显示,混合设计能节省带宽,并随着信道质量提升实现优雅的性能提升。 PDF p.2 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

A Hybrid Wireless Image Transmission Scheme with Diffusion 架构/方法页
A Hybrid Wireless Image Transmission Scheme with Diffusion,原 PDF 第 2 页(架构/方法页)。
A Hybrid Wireless Image Transmission Scheme with Diffusion 关键结果页
A Hybrid Wireless Image Transmission Scheme with Diffusion,原 PDF 第 5 页(关键结果页)。

Collaborative Semantic Communication for Edge Inference

2023 · IEEE Wireless Communications Letters · 任务导向联合信源信道设计

作者:Wing Fei Lo; Nitish Mital; Haotian Wu; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已确定:我们研究无线边缘的协同图像检索问题,即多个边缘设备从不同角度和位置捕获同一物体的图像,然后通过共享多重访问信道(MAC)在边缘服务器上联合检索相似图像。 PDF p.1 PDF p.2
  2. 仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1 PDF p.3
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺乏本文随后引入的论文专用机制:我们还提出了一种带有注意力模块的信道状态感知JSCC方案,使我们的方法能够适应不同的信道条件。 PDF p.1 PDF p.3
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了用于边缘推断的协同语义通信。其具体设计总结如下:我们提出了两种基于深度学习的联合信源信道编码(JSCC)方案,用于加性白高斯噪声(AWGN)和瑞利慢衰落信道的任务,旨在在总带宽约束下最大化检索精度。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,我们还提出了一种带有注意力模块的信道状态感知JSCC方案,使我们的方法能够适应不同的信道条件。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:所提方案在广泛的信道信噪比(SNR)范围内进行评估,结果显示其优于单设备JSCC和基于分离的多址基准测试。 PDF p.3 PDF p.4

系统怎么工作

该系统是任务导向推理的端到端通信链路。我们提出了两种基于深度学习的联合源和信道编码(JSCC)方案,用于在加法白高斯噪声(AWGN)和瑞利慢衰落信道上的任务,旨在在总带宽约束下最大化检索精度。我们还提出了一种带有注意力模块的信道状态信息感知JSCC方案,使我们的方法能够适应不同的信道条件。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文中的语义/信源信道编码器:我们还提出了一种信道状态信息感知的JSCC方案,带有注意力模块,使我们的方法能够适应不同的信道条件。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:Polar、separation-based

指标:accuracy、latency

信道:AWGN、Rayleigh、fading channel、MIMO、OFDM

实验使用论文中所述的源/任务数据集;与基于分离的极地相比;准确评估,延迟;并使用AWGN、Rayleigh、衰落信道、MIMO、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

所提方案在广泛的信道信噪比(SNR)下进行评估,结果显示其优于单设备JSCC和基于分离的多址基准测试。 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Collaborative Semantic Communication for Edge Inference 架构/方法页
Collaborative Semantic Communication for Edge Inference,原 PDF 第 1 页(架构/方法页)。
Collaborative Semantic Communication for Edge Inference 关键结果页
Collaborative Semantic Communication for Edge Inference,原 PDF 第 6 页(关键结果页)。

Deep Joint Source-Channel and Encryption Coding: Secure Semantic Communications

2023 · · 通信安全与隐私

作者:Tze-Yang Tung; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确立:该思想是将相似的源样本映射到信道输入空间中的邻近点,使得尽管信道引入了噪声,输入仍能以最小失真恢复。 PDF p.1
  2. 仍然存在的问题:源样本与信道输入之间的固有关联使 DeepJSCC 容易遭受窃听攻击。 PDF p.1 PDF p.10
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺乏本文随后引入的论文特有机制:其思想是将相似的源样本映射到信道输入空间中的邻近点,使得尽管信道引入了噪声,输入仍能以最小失真恢复。 PDF p.1 PDF p.10
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文发展了《深度联合信源信道与加密编码:安全语义通信》。其具体设计总结如下:本文提出了首个用于防窃听安全的无线图像传输DeepJSCC方案,称为DeepJSCEC。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系是 该思想是将相似的源样本映射到信道输入空间中的邻近点,使得尽管信道引入了噪声,输入仍能以最小失真恢复。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1 PDF p.3 PDF p.4
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:拟议方案不仅保留了DeepJSCC展示的结果,还提供了防御窃听者选择明文攻击的安全性,无需对窃听者的信道状况或其对截获信号的预期用途做出假设。 PDF p.6 PDF p.8 PDF p.10

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文提出了首个用于防窃听安全的无线图像传输DeepJSCC方案,称为DeepJSCEC。其理念是将类似的源采样映射到信道输入空间中的附近点,使得尽管信道引入了噪声,输入仍能以最小失真的方式恢复。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.3 PDF p.4

输入:源是输入图像。 PDF p.1 PDF p.3 PDF p.4

发送端:发送方应用论文中的语义/信源信道编码器:其理念是将相似的源样本映射到信道输入空间中的相邻点,使得尽管信道引入噪声,输入仍能以最小失真的方式恢复。 PDF p.1 PDF p.3 PDF p.4

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.3 PDF p.4

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.3 PDF p.4

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.3 PDF p.4

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:ImageNet

Baseline:DeepJSCC、BPG、JPEG2000、LDPC、separation-based

指标:PSNR、SSIM、MS-SSIM、accuracy、throughput、BER

信道:AWGN、QAM

实验使用ImageNet;与基于分离的DeepJSCC、BPG、JPEG2000、LDPC进行比较;用PSNR、SSIM、MS-SSIM、准确率、吞吐量、BER来评估;并使用AWGN、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

该方案不仅保留了DeepJSCC展示的结果,还能防止窃听者选择明文攻击,无需对窃听者的信道状况或其预期用途做出假设。 PDF p.6 PDF p.8 PDF p.10

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

Deep Joint Source-Channel and Encryption Coding: Secure Semantic Communications 架构/方法页
Deep Joint Source-Channel and Encryption Coding: Secure Semantic Communications,原 PDF 第 3 页(架构/方法页)。
Deep Joint Source-Channel and Encryption Coding: Secure Semantic Communications 关键结果页
Deep Joint Source-Channel and Encryption Coding: Secure Semantic Communications,原 PDF 第 11 页(关键结果页)。

DeepJSCC-1++: Robust and Bandwidth-Adaptive Wireless Image Transmission

2023 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Chenghong Bian; Yulin Shao; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已经确定:为实现这一点,我们将带宽比和信噪比视为编码器和解码器的信道状态信息,作为附带信息输入模型,并用不同的带宽比和信噪比训练拟议的DeepJSCC-l++模型。 PDF p.1
  2. 仍然存在的问题:为单一带宽或信道条件训练的语义编码器具有固定表示,且在工作点变化时无法重新分配速率和保护。 PDF p.1 PDF p.4 PDF p.6
  3. 为什么已有方法解决不了:为单一带宽、信噪比或信道分布训练的模型具有固定的瓶颈和保护模式。当操作条件发生变化时,使用相同表示法进行重复推断无法为变得脆弱的信息重新分配速率或冗余。更具体地说,已有链路缺少本文随后引入的论文特有机制:解码器也有I级,每个阶段由一个补丁分割块和Swin变换器块组成。 PDF p.1 PDF p.4 PDF p.6
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了DeepJSCC-1++:稳健且带宽自适应的无线图像传输。其具体设计总结如下:论文发展了题目所述的方法:DeepJSCC-1++:稳健且带宽自适应的无线图像传输。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于解码器也有I级,每个级由一个音色分割块和Swin变压器块组成。表示或保护模式可以随着操作条件变化而变化,而非训练后保持固定。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们还观察到,所提方案能够超越数字基线,后者将BPG压缩与容量实现信道代码连接起来。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了题为《DeepJSCC-1++:稳健且带宽自适应的无线图像传输》所描述的方法。解码器还有I级,每个级由一个音色分区块和Swin变换器块组成。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:解码器还有I级,每个阶段由一个补丁分割块和Swin变换器块组成。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:CIFAR-10

Baseline:DeepJSCC、BPG、separation-based

指标:PSNR、latency、CLIP

信道:AWGN、fading channel、MIMO、OFDM

实验采用CIFAR-10;与基于分离的DeepJSCC、BPG比较;评估时效性、延迟、CLIP;并使用AWGN、衰落信道、MIMO、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

我们还观察到,所提方案能够超越数字基线,后者将BPG压缩与实现容量的信道编码连接起来。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:适配只在有限的带宽/信道范围内验证;控制信令、在线稳定性及超出训练范围后的外推仍不确定。

DeepJSCC-1++: Robust and Bandwidth-Adaptive Wireless Image Transmission 架构/方法页
DeepJSCC-1++: Robust and Bandwidth-Adaptive Wireless Image Transmission,原 PDF 第 1 页(架构/方法页)。
DeepJSCC-1++: Robust and Bandwidth-Adaptive Wireless Image Transmission 关键结果页
DeepJSCC-1++: Robust and Bandwidth-Adaptive Wireless Image Transmission,原 PDF 第 5 页(关键结果页)。

Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel

2023 · · 多用户接入、广播或中继

作者:Selim F. Yilmaz; Can Karamanlı; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已确立:我们考虑通过深联合信源信道编码(DeepJSCC)在噪声高的多重访问信道(MAC)上进行分布式图像传输。 PDF p.1
  2. 仍然存在的问题:大多数语义编解码器设计为点对点链路,不利用跨用户语义关联,也不共同处理异构信道、干扰和用户公平性。 PDF p.1 PDF p.5
  3. 为什么已有方法解决不了:为每个用户独立运行点对点语义编解码器,会忽略共享内容、异构信道、干扰和公平性。因此,一旦用户共享同一媒介,单用户最优方案不必是可行或频谱高效的。更具体地说,已有链路缺少本文随后引入的论文特有机制:发射器i将输入图像映射习∈ICin×W ×H,其中W和H表示图像的宽度和高度,而Cin表示彩色图像的R、G和B信道,使用非线性编码函数EΘi,σ : ICin×W ×H →Ck,参数为Θi,映射为复数值潜向量zi = EΘi,σ(习),其中k对应于可用的信道带宽。 PDF p.1 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了基于多址信道的分布式深度联合信源信道编码。其具体设计总结如下:我们引入了一种新型联合图像压缩与传输方案,设备以非正交方式发送压缩后的图像表示。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,发射器i将输入图像映射为习∈ICin×W ×H,其中W和H表示图像的宽度和高度,而Cin表示彩色图像的R、G和B信道,采用非线性编码函数EΘi,σ : ICin×W ×H →Ck,参数为Θi,映射为复值潜向量zi = EΘi,σ(习),其中k对应于可用的信道带宽。跨用户相关性和异构链接现在形成了联合传输的表示,而非重复的独立消息。 PDF p.1 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:虽然已知非正交多址(NOMA)能够实现容量区,但据我们所知,非正交联合信源信道编码(JSCC)方案在实际系统中尚未被研究。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们引入了一种新的联合图像压缩与传输方案,设备以非正交方式发送压缩后的图像表示。发射器i将输入图像映射习为∈ICin×W ×H,其中W和H表示图像的宽度和高度,Cin表示彩色图像的R、G和B信道,采用非线性编码函数EΘi,σ : ICin×W ×H →Ck,参数为Θi,映射为复值潜向量zi = EΘi,σ(习), 其中k对应于可用信道带宽。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:发送器i将输入图像映射习∈ICin×W ×H,其中W和H表示图像的宽度和高度,Cin表示彩色图像的R、G和B信道,使用非线性编码函数EΘi,σ : ICin×W ×H →Ck,参数为Θi,映射为复值潜向量zi = EΘi,σ(习),其中k对应于可用的信道带宽。 PDF p.1 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:多用户接入、广播或中继。研究多个用户共享频谱、干扰或中继时,语义相关性和异构信道如何改变发送策略。

给深度学习研究生的解释:不能把它看成简单扩大 batch size;每个接收端看到的信道和所需语义都不同,发送信号还会相互干扰。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3 PDF p.4

实验设置与主要结论

数据集:CIFAR-10

Baseline:DeepJSCC、BPG、JPEG、LDPC、Polar、Turbo、separation-based

指标:PSNR

信道:AWGN、MIMO

实验采用CIFAR-10;与DeepJSCC、BPG、JPEG、LDPC、Polar、Turbo、基于分离的软件进行比较;与PSNR评估;并使用AWGN,MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.3 PDF p.4

虽然非正交多址(NOMA)已知能实现容量区,但据我们所知,非正交联合信源信道编码(JSCC)方案在实际系统中尚未被研究。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值在于提升频谱复用、覆盖或公平性,并证明优于逐用户运行点到点模型。

局限:证据多来自固定用户数与信道模型的仿真;扩展性、反馈开销、同步和与真实调度器的集成仍未充分回答。

Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel 架构/方法页
Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel,原 PDF 第 1 页(架构/方法页)。
Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel 关键结果页
Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel,原 PDF 第 5 页(关键结果页)。

Generative Joint Source-Channel Coding for Semantic Image Transmission

2023 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Ecenaz Erdemir; Tze-Yang Tung; Pier Luigi Dragotti; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在这篇论文之前,相关研究已经确定这些方法主要关注重建信号相对于输入图像的畸变,而非人类对信号的感知。 PDF p.1
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.10
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺少本文随后引入的论文特有机制:从第一代到第五代通信系统,编码过程遵循香农分离定理的传统两步方法[1],将发射端分解为源编码器和信道编码器。 PDF p.1 PDF p.10
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了用于语义图像传输的生成联合信源信道编码。其具体设计总结如下:本研究提出了两种新颖的JSCC方案,利用深度生成模型(DGMs)的感知质量进行无线图像传输,分别是InverseJSCC和GenerativeJSCC。 PDF p.1
  6. 方案为什么有可能起作用:其因果关系在于,从第一代到第五代通信系统,编码过程遵循香农分离定理的传统两步方法[1],将发射端分解为源编码器和信道编码器。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.4 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:在 GenerativeJSCC 中,我们对编码器和基于 StyleGAN 的解码器进行了端到端训练,结果显示 GenerativeJSCC 在失真和感知质量方面显著优于 DeepJSCC。 PDF p.6 PDF p.7 PDF p.8

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本研究提出了两种新型JSCC方案,利用深度生成模型(DGMs)的感知质量进行无线图像传输,分别是InverseJSCC和GenerativeJSCC。从第一代到第五代通信系统,编码过程遵循香农分离定理的传统两步方法[1],将发射端分解为源编码器和信道编码器。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.4 PDF p.5

输入:源是输入图像。 PDF p.1 PDF p.4 PDF p.5

发送端:发送方应用论文中的语义/信源信道编码器:从第一代到第五代通信系统,编码过程遵循香农分离定理的传统两步方法[1],将发射端分解为源编码器和信道编码器。 PDF p.1 PDF p.4 PDF p.5

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.4 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.4 PDF p.5

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.4 PDF p.5

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.4 PDF p.11

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.4 PDF p.11

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3 PDF p.4

实验设置与主要结论

数据集:ImageNet、Kodak

Baseline:DeepJSCC、JPEG2000、separation-based

指标:PSNR、SSIM、MS-SSIM、LPIPS、semantic similarity、latency

信道:AWGN、OFDM、binary symmetric channel、erasure channel

实验使用了ImageNet、柯达;与JPEG2000的DeepJSCC比较,采用分离为基础;用PSNR、SSIM、MS-SSIM、LPIPS、语义相似度、延迟进行评估;并使用AWGN、OFDM、二进制对称信道、擦除信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.3 PDF p.4

在 GenerativeJSCC 中,我们对编码器和基于 StyleGAN 的解码器进行了端到端训练,结果证明 GenerativeJSCC 在失真和感知质量方面都远超 DeepJSCC。 PDF p.6 PDF p.7 PDF p.8

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Generative Joint Source-Channel Coding for Semantic Image Transmission 架构/方法页
Generative Joint Source-Channel Coding for Semantic Image Transmission,原 PDF 第 4 页(架构/方法页)。
Generative Joint Source-Channel Coding for Semantic Image Transmission 关键结果页
Generative Joint Source-Channel Coding for Semantic Image Transmission,原 PDF 第 7 页(关键结果页)。

Secure Deep-JSCC Against Multiple Eavesdroppers

2023 · · 通信安全与隐私

作者:Seyyed Amirhossein Ameli Kalkhoran; Mehdi Letafati; Ecenaz Erdemir; Babak Hossein Khalaj; Hamid Behroozi; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在这篇论文之前,相关研究领域已经确立了共谋和非合谋窃听者的两种情形都被研究。 PDF p.1
  2. 仍然存在的问题:即使合法接收者重建良好,语义表示仍可能泄露源内容或控;仅限可靠性的设计无法量化这一威胁。 PDF p.1 PDF p.3 PDF p.5
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺少后来引入的纸张专用机制:输入自编码器的数据与额外的无信息随机位结合以混淆窃听者;同时,这也会降低通信速率。 PDF p.1 PDF p.3 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了针对多窃听者的Secure Deep-JSCC。其具体设计总结如下:我们提出了一种端到端(E2E)学习方法,用于通过复值衰落信道对抗多个窃听者的安全通信。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,输入到自编码器的数据会与额外的无信息性随机比特结合,以干扰窃听者;同时,这也会降低通信速率。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:它表明,尽管用雷利信道模型训练网络,但在除瑞利衰落外,我们仍然能实现几乎类似的信道衰退趋势。 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们提出了一种端到端(E2E)学习方法,用于通过复值衰落信道实现多重窃听者的安全通信。输入到自编码器的数据会与额外的无信息性随机比特结合,以干扰窃听者;同时,这也会降低通信速率。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源是输入图像。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:输入自编码器的数据与额外的无信息性随机比特结合以混淆窃听者;同时,这也会降低通信速率。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是重建或生成的图像。 PDF p.1

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1

实验设置与主要结论

数据集:CIFAR-10

Baseline:DeepJSCC

指标:SSIM、accuracy

信道:AWGN、Rayleigh、fading channel

实验采用CIFAR-10;与DeepJSCC比较;用SSIM评估准确性;并使用AWGN、Rayleigh、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1

结果显示,尽管用雷利信道模型训练网络,但在除瑞利衰落外的信道场景中,我们几乎可以实现类似的趋势。 PDF p.5

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

Secure Deep-JSCC Against Multiple Eavesdroppers 架构/方法页
Secure Deep-JSCC Against Multiple Eavesdroppers,原 PDF 第 2 页(架构/方法页)。
Secure Deep-JSCC Against Multiple Eavesdroppers 关键结果页
Secure Deep-JSCC Against Multiple Eavesdroppers,原 PDF 第 4 页(关键结果页)。

Semantic Communication of Learnable Concepts

2023 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Francesco Pase; Szymon Kobus; Denız Gündüz; Michele Zorzi

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已经确立了这样一个问题。我们考虑了如何传达一系列概念的问题,即未知且可能随机的映射,这些映射只能通过实例观察到,即映射规则是未知的。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:发送方随后需要通过速率限制信道将所学模型传达给远程接收端,使接收方能够尽可能准确地描述其语义空间中的模型。 PDF p.1
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺少了本文随后引入的论文专用机制:如果环境对这些量施加约束,例如学习规则输入输出之间的互信息,例如引入arXiv:2305.08126v1 [cs.IT] 2023年5月14日 PDF p.1
  4. 为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,论文发展了可学习概念的语义通信。其具体设计总结如下:在动机分析后,我们提出了概念传递的形式问题,并提供了其速率-失真特征,指出其与网络中经验协调和强协调概念的联系。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果联系在于,如果环境对这些量施加约束,例如学习规则输入输出之间的互信息,例如引入arXiv:2305.08126v1 [cs.IT] 2023年5月14日。语义忠实度和信道鲁棒性在同一路径上得到优化,因此实际噪声链路的瓶颈被塑造出来。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:首先,我们仅提供了一个简单的方案,其中limn→∞davg(Qn, ˆQn) = 0并不意味着limn→∞dmax(Qn, ˆQn) = 0,这意味着一般来说,平均达到0失真的代码在模型上可能无法达到0失真,也就是说,我们无法保证单一模型的性能。 PDF p.4 PDF p.5 PDF p.7

系统怎么工作

该系统是语义信息度量与理论的端到端通信链路。在进行分析后,我们提出了概念传递的形式问题,并提供了其速率失真特征,指出其与网络中经验协调和强协调概念的联系。如果环境对这些量施加约束,例如学习规则输入输出之间的互信息,例如引入arXiv:2305.08126v1 [cs.IT] 2023年5月14日。关键在于学习到的表示如何与所定的信道和资源约束连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是一个源-任务-信道概率模型。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:如果环境对这些量施加约束,例如学习规则输入输出之间的互信息,例如引入arXiv:2305.08126v1 [cs.IT] 2023年5月14日 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2 PDF p.3

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是一个界限、度量或优化原则。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义信息度量与理论

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建了界限、度量或优化原则。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:论文未在结构化字段中明确列出

指标:accuracy

信道:信道接口报告不足或由传统链路抽象承担

实验使用论文中所述的源/任务数据集;与论文中标明的参考系统进行比较;准确评估;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

首先,我们提供了一个简单的方案,其中limn→∞davg(Qn, ˆQn) = 0并不意味着limn→∞dmax(Qn, ˆQn) = 0,这意味着一般来说,一个平均实现0失真的代码,在模型上可能无法达到0失真,也就是说,我们无法保证单个模型的性能。 PDF p.4 PDF p.5 PDF p.7

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Semantic Communication of Learnable Concepts 架构/方法页
Semantic Communication of Learnable Concepts,原 PDF 第 1 页(架构/方法页)。
Semantic Communication of Learnable Concepts 关键结果页
Semantic Communication of Learnable Concepts,原 PDF 第 6 页(关键结果页)。

Space-Time Design for Deep Joint Source Channel Coding of Images over MIMO Channels

2023 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Chenghong Bian; Yulin Shao; Haotian Wu; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已经确立了我们考虑两种不同的方案;一个利用空间多样性,另一个利用MIMO信道的空间复用增益。 PDF p.1
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.3 PDF p.4
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:后者中,我们直接将输入映射到天线,利用额外的自由度来发送更多关于源信号的信息。 PDF p.1 PDF p.3 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文发展了《MIMO信道图像深度连接信源信道编码的时空设计》。其具体设计总结如下:我们提出了一种新型深度联合信源信道编码(DeepJSCC)算法,用于无线图像传输,适用于多输入多输出(MIMO)瑞利衰落信道,当信道状态信息(CSI)仅在接收端提供时。 PDF p.1
  6. 方案为什么有可能起作用:因果关系在于,在后者中,我们直接将输入映射到天线,额外的自由度可以用来发送更多关于源信号的信息。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们还表明,分集和复用方案都能与MIMO信道瞬时容量下最先进的BPG算法实现相当的性能,而BPG算法则是基于分离的实用系统性能的上限。 PDF p.2 PDF p.3

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们提出了一种新型深度联合信源信道编码(DeepJSCC)算法,用于在多输入多输出(MIMO)瑞利衰落信道上无线图像传输,前提是信道状态信息(CSI)仅在接收端可用。在后者中,我们直接将输入映射到天线,利用额外的自由度来发送更多关于源信号的信息。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:在后者中,我们直接将输入映射到天线,利用额外的自由度来发送更多关于源信号的信息。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、BPG、separation-based

指标:PSNR、latency

信道:AWGN、Rayleigh、fading channel、MIMO、OFDM、QAM

实验使用论文中所述的源/任务数据集;与基于分离的DeepJSCC、BPG比较;用PSNR评估,延迟;并使用AWGN、Rayleigh、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.4

我们还展示了分集和复用方案都能与MIMO信道瞬时容量下交付的先进BPG算法实现相当性能,这成为基于分离的实用系统性能的上限。 PDF p.2 PDF p.3

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Space-Time Design for Deep Joint Source Channel Coding of Images over MIMO Channels 架构/方法页
Space-Time Design for Deep Joint Source Channel Coding of Images over MIMO Channels,原 PDF 第 2 页(架构/方法页)。
Space-Time Design for Deep Joint Source Channel Coding of Images over MIMO Channels 关键结果页
Space-Time Design for Deep Joint Source Channel Coding of Images over MIMO Channels,原 PDF 第 5 页(关键结果页)。

A Theory of Semantic Communication

2024 · IEEE Transactions on Mobile Computing · 语义信息理论与性能度量

作者:Yulin Shao; Qi Cao; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在这篇论文之前,相关研究领域已经确立了语义通信是一个近年来受到广泛关注的新兴研究领域。 PDF p.2 PDF p.3
  2. 仍然存在的问题:我们的观点是,语言设计的挑战可以有效地置于更广泛的联合信源信道编码理论框架内,并以全面的端到端失真指标为支撑。 PDF p.1 PDF p.3 PDF p.8
  3. 为什么已有方法解决不了:早期系统可以报告任务准确性或重建质量,但如果没有提出的数量或界限,它们无法在通用的信息论基础上比较语义效率。缺失对象是一个定义和优化标准,而不是另一个神经网络块。更具体地说,已有链路缺乏本文随后引入的论文专用机制:为了解决语言利用问题,我们提出了三种方法:语义编码、语义译码,以及以语义编码和解码结合的形式结合两者。 PDF p.1 PDF p.3 PDF p.8
  4. 为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文发展了语义通信理论。其具体设计总结如下:本文发展了标题所描述的方法:语义通信理论。 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:其因果联系在于,为了解决语言利用问题,我们提出了三种方法:语义编码、语义解码,以及两者结合的语义编码与解码。所提定义使语义目标显式,因此可测量或优化。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:边界的顶点可以通过算法2中构建的确定性编码方案实现。 PDF p.9 PDF p.10 PDF p.11

系统怎么工作

该系统是语义信息度量与理论的端到端通信链路。论文发展了题目所述的方法:语义通信理论。为了解决语言利用问题,我们提出了三种方法:语义编码、语义解码,以及两者结合的协同方式,即语义编码与解码结合。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是一个源-任务-信道概率模型。 PDF p.1 PDF p.2 PDF p.3

发送端:发送者应用论文的语义/信源信道编码器:为解决语言利用问题,我们提出了三种方法:语义编码、语义解码,以及两者协同结合的语义编码和解码。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是由信息论模型定义的随机变量或语义消息。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为抽象信源—信道—语义失真模型;不对应一条具体神经收发链路。 PDF p.1 PDF p.2 PDF p.3

接收端:接收方从定理中的抽象语义解码器或决策规则开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是一个界限、度量或优化原则。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义信息度量与理论

所属环节:语义信息理论与性能度量。定义语义信息、失真、价值或可达边界,为系统比较和优化提供共同坐标。

给深度学习研究生的解释:可以把它理解为给新的学习任务定义 loss 和 generalization bound;重点是定义是否可计算、是否与通信资源挂钩。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层理论工作:不单独定义可发送语义格式

发送方发送由信息论模型定义的随机变量或语义消息。这类分类为:上层理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:抽象信源—信道—语义失真模型;不对应一条具体神经收发链路

在拟议的传输路径中,信道处理方式如下:抽象信源—信道—语义失真模型;不对应一条具体神经收发链路。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收者实际上是从定理中的抽象语义解码器或决策规则出发的。然后它重建了界限、度量或优化原则。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC

指标:accuracy、BER

信道:broadcast channel

实验使用论文中所述的源/任务数据集;与DeepJSCC比较;准确评估,BER;并使用广播频道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

边界的顶点可以通过算法2中构建的确定性编码方案实现。 PDF p.9 PDF p.10 PDF p.11

通信审稿价值与 Codex 判断

审稿价值来自可比较、可优化或可证明的语义通信指标,而不是单个数据集上的网络增益。

局限:该定义是否能在真实高维信源上计算、能否跨任务预测系统收益仍需验证;形式化指标本身不等于可部署的无线增益。

A Theory of Semantic Communication 架构/方法页
A Theory of Semantic Communication,原 PDF 第 1 页(架构/方法页)。
A Theory of Semantic Communication 关键结果页
A Theory of Semantic Communication,原 PDF 第 23 页(关键结果页)。

AirNet: Neural Network Transmission Over the Air

2024 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Mikołaj Jankowski; Denız Gündüz; Krystian Mikolajczyk

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确立,许多边缘应用的尖端性能依赖深度神经网络(DNN)。 PDF p.1 PDF p.2 PDF p.5
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.6
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:在AirNet中,我们提出将DNN参数直接映射到传输的信道符号,同时在信道约束下训练网络,且对信道噪声具有鲁棒性。 PDF p.1 PDF p.2 PDF p.6
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2 PDF p.5
  5. 本文怎样顺着问题提出方案:因此,论文提出了AirNet:空中神经网络传输。其具体设计总结如下:本文介绍了AirNet系列新颖方法,允许在严格的发射功率和延迟限制下,通过无线信道高效传输DNN。 PDF p.1 PDF p.2 PDF p.5
  6. 方案为什么有可能起作用:因果联系在于,在AirNet中,我们提出将DNN参数直接映射到传输的信道符号,同时在信道约束下训练网络,并对信道噪声具有鲁棒性。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:AirNet相比基于分离的替代方案,准确率更高。 PDF p.12 PDF p.13

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文介绍了AirNet,这是一系列新颖的方法,使DNN能够在严格的发射功率和延迟约束下,通过无线信道高效传输DNN。在AirNet中,我们提出将DNN参数直接映射到传输的信道符号,同时在信道约束下训练网络,并对信道噪声具有鲁棒性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.5

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.5

发送端:发送方应用论文中的语义/信源信道编码器:在AirNet中,我们提议直接将DNN参数映射到传输的信道符号,同时在信道约束下训练网络,且对信道噪声具有鲁棒性。 PDF p.1 PDF p.2 PDF p.5

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.3 PDF p.5

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.5

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.5

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.6 PDF p.8 PDF p.12

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.6 PDF p.8 PDF p.12

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3 PDF p.5

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3 PDF p.5

实验设置与主要结论

数据集:ImageNet

Baseline:DeepJSCC、BPG、JPEG2000、LDPC、separation-based

指标:accuracy、latency

信道:AWGN、fading channel、OFDM

实验使用ImageNet;与基于分离的DeepJSCC、BPG、JPEG2000、LDPC进行比较;准确评估,延迟;并使用AWGN、衰落信道、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.3 PDF p.5

AirNet 相比基于分离的替代方案实现了更高的精度。 PDF p.12 PDF p.13

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

AirNet: Neural Network Transmission Over the Air 架构/方法页
AirNet: Neural Network Transmission Over the Air,原 PDF 第 3 页(架构/方法页)。
AirNet: Neural Network Transmission Over the Air 关键结果页
AirNet: Neural Network Transmission Over the Air,原 PDF 第 28 页(关键结果页)。

CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models

2024 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Jiakang Chen; Di You; Denız Gündüz; Pier Luigi Dragotti

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明基于深度神经网络的联合信源信道编码方案(DeepJSCC)最近在无线图像传输方面取得了显著性能。 PDF p.1
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏本文随后引入的论文特有机制:为此,CommIN结合了可逆神经网络(INN)和扩散模型,旨在实现更优越的感知质量。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文提出了CommIN:以INN引导扩散模型为反问题的语义图像通信。其具体设计总结如下:在本研究中,我们提出了CommIN,该方法将从退化重建中恢复高质量源图像视为一个反向问题。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,为了解决这个问题,CommIN结合了可逆神经网络(INN)和扩散模型,旨在提升感知质量。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:通过实验,我们表明我们的CommIN在极端条件下显著提升了感知质量,优于DeepJSCC中使用的其他逆问题方法。 PDF p.2

系统怎么工作

该系统是图像传输或生成的端到端通信链路。在本研究中,我们提出了CommIN,认为从退化重建中恢复高质量源图像是一个反问题。为此,CommIN结合了可逆神经网络(INN)与扩散模型,旨在提升感知质量。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源是输入图像。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:为此,CommIN结合了可逆神经网络(INN)与扩散模型,旨在提升感知质量。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是重建或生成的图像。 PDF p.1

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC

指标:PSNR、LPIPS

信道:AWGN、OFDM

实验使用论文中所述的源/任务数据集;与DeepJSCC比较;评估与PSNR、LPIPS合作;并使用AWGN,OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

通过实验,我们表明CommIN在极端条件下显著提升了感知质量,且优于DeepJSCC中使用的其他逆问题方法。 PDF p.2

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models 架构/方法页
CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models,原 PDF 第 1 页(架构/方法页)。
CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models 关键结果页
CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models,原 PDF 第 3 页(关键结果页)。

Deep Joint Source-Channel Coding for Adaptive Image Transmission Over MIMO Channels

2024 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Haotian Wu; Yulin Shao; Chenghong Bian; Krystian Mikolajczyk; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关工作方向已确定:我们引入了一种基于视觉变换器(ViT)的深度联合信源信道编码(DeepJSCC)方案,用于通过多输入多输出(MIMO)信道进行无线图像传输,称为DeepJSCC-MIMO。 PDF p.1 PDF p.2
  2. 仍然存在的问题:为单一带宽或信道条件训练的语义编码器具有固定表示,且在工作点变化时无法重新分配速率和保护。 PDF p.1 PDF p.5 PDF p.12
  3. 为什么已有方法解决不了:为单一带宽、信噪比或信道分布训练的模型具有固定的瓶颈和保护模式。当操作条件发生变化时,使用相同表示法进行重复推断无法为变得脆弱的信息重新分配速率或冗余。更具体地说,已有链路缺乏后来介绍的专属论文机制:具体来说,通过利用ViT的自注意机制,DeepJSCC-MIMO智能地学习针对源图像独特特性和当前信道条件量身定制的特征映射和功耗分配策略。 PDF p.1 PDF p.5 PDF p.12
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了用于MIMO信道自适应图像传输的深度联合信源信道编码。其具体设计总结如下:我们引入了基于视觉变换器(ViT)的深度联合信源信道编码(DeepJSCC)方案,用于通过多输入多输出(MIMO)信道进行无线图像传输,称为DeepJSCC-MIMO。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,通过利用ViT的自注意机制,DeepJSCC-MIMO智能地学习特征映射和功耗分配策略,针对源图像的独特特性和当前信道条件。表示或保护模式可以随着操作条件变化而变化,而非训练后保持固定。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量数值实验验证了DeepJSCC-MIMO在开环和闭环MIMO系统中,在多种场景下实现的失真质量和感知质量的显著提升。 PDF p.7 PDF p.8 PDF p.9

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们引入了基于视觉变换器(ViT)的深度联合源与信道编码(DeepJSCC)方案,用于通过多输入多输出(MIMO)信道实现无线图像传输,称为DeepJSCC-MIMO。具体来说,通过利用ViT的自注意机制,DeepJSCC-MIMO智能地学习针对源图像独特特性和当前信道条件量身定制的特征映射和功耗分配策略。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:具体来说,通过利用ViT的自注意机制,DeepJSCC-MIMO智能地学习针对源图像的独特特性和当前信道条件量身定制的特征映射和功耗分配策略。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3 PDF p.4

实验设置与主要结论

数据集:ImageNet、Kodak

Baseline:DeepJSCC、BPG、JPEG2000、LDPC、Turbo、VTM、WITT、separation-based

指标:PSNR、LPIPS

信道:AWGN、fading channel、MIMO、OFDM、QAM

实验使用了ImageNet、柯达;与基于分离的DeepJSCC、BPG、JPEG2000、LDPC、Turbo、VTM、WITT进行比较;评估与PSNR、LPIPS合作;并使用AWGN、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.3 PDF p.4

大量数值实验验证了DeepJSCC-MIMO在开环和闭环MIMO系统中,在多种场景下实现的失真质量和感知质量的显著提升。 PDF p.7 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:适配只在有限的带宽/信道范围内验证;控制信令、在线稳定性及超出训练范围后的外推仍不确定。

Deep Joint Source-Channel Coding for Adaptive Image Transmission Over MIMO Channels 架构/方法页
Deep Joint Source-Channel Coding for Adaptive Image Transmission Over MIMO Channels,原 PDF 第 3 页(架构/方法页)。
Deep Joint Source-Channel Coding for Adaptive Image Transmission Over MIMO Channels 关键结果页
Deep Joint Source-Channel Coding for Adaptive Image Transmission Over MIMO Channels,原 PDF 第 17 页(关键结果页)。

Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information

2024 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Selim F. Yilmaz; Ezgi Özyılkan; Denız Gündüz; Elza Erkip

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已确立:当相关侧信息仅存在于接收端时(Wyner-Ziv情景),我们认为该图像传输在噪声较大的无线信道上是低延迟的。 PDF p.1
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.3
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的纸张专用机制:当相关侧信息仅存在于接收端时,我们考虑通过噪声无线信道实现低延迟图像传输(Wyner-Ziv情景)。 PDF p.1 PDF p.2 PDF p.3
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文提出了带有解码器仅侧信息的分布式深度联合信源信道编码。其具体设计总结如下:我们提出了一种新颖的神经网络架构,在接收端多个阶段包含仅解码器侧的信息。 PDF p.1
  6. 方案为什么有可能起作用:因果关系在于,我们考虑在噪声较大的无线信道上传输低延迟图像,当相关侧信息仅存在于接收端(Wyner-Ziv情景)时。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们的结果表明,所提方法成功整合了侧面信息,在所有信道条件下,特别是在低信道信噪比(SNR)和小带宽比(BRs)下,性能都得到了提升。 PDF p.4 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们提出了一种新型神经网络架构,在接收端多个阶段包含解码器仅有的侧信息。当相关侧信息仅存在于接收端时(Wyner-Ziv情景),我们考虑通过噪声无线信道传输低延迟图像。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:当相关侧信息仅存在于接收端时(Wyner-Ziv情景),我们考虑通过噪声无线信道实现低延迟图像传输。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:Cityscapes、KITTI

Baseline:DeepJSCC、separation-based

指标:PSNR、SSIM、MS-SSIM、LPIPS、latency、SER

信道:AWGN、OFDM

实验使用Cityscapes、KITTI;与基于分离的DeepJSCC比较;用PSNR、SSIM、MS-SSIM、LPIPS、延迟、SER进行评估;并使用AWGN,OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

我们的结果表明,所提方法成功整合了侧信息,在所有信道条件下,特别是在低信道信噪比(SNR)和小带宽比(BR)下,在各信道条件下的性能均有所提升。 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information 架构/方法页
Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information,原 PDF 第 1 页(架构/方法页)。
Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information 关键结果页
Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information,原 PDF 第 4 页(关键结果页)。

Evolving Semantic Communication with Generative Modelling

2024 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Shunpu Tang; Qianqian Yang; Denız Gündüz; Zhaoyang Zhang

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已证明基于学习的语义通信(SemCom)已成为即将到来的6G网络的有前景解决方案。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.5 PDF p.6
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏本文后面介绍的专用机制:具体来说,我们提出了一种新型信道感知语义编码器,利用预训练生成模型从输入图像中提取由多个语义向量组成的信道相关潜在变量,这些变量可直接通过噪声信道传输,无需进一步的信道编码。 PDF p.1 PDF p.5 PDF p.6
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了带有生成建模的进化语义通信理论。其具体设计总结如下:具体来说,我们提出了一种新型信道感知语义编码器,利用预训练生成模型从输入图像中提取由多个语义向量组成的信道相关潜变量,这些变量可直接通过噪声信道传输,无需进一步信道编码。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于具体来说,我们提出了一种新型信道感知语义编码器,利用预训练的生成模型从输入图像中提取由多个语义向量组成的信道相关潜在变量,这些变量可直接通过噪声信道传输,无需进一步信道编码。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们注意到,如果在前述实数到复数变换后直接传输z,所提模型的BCR可达到1/110。 PDF p.3 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。具体来说,我们提出了一种新型信道感知语义编码器,利用预训练生成模型从输入图像中提取由多个语义向量组成的信道相关潜在变量,这些变量可直接通过噪声信道传输,无需额外信道编码。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用了论文中的语义/信源信道编码器:具体来说,我们提出了一种新型信道感知语义编码器,利用预训练生成模型从输入图像中提取由多个语义向量组成的信道相关潜变量,这些变量可直接通过噪声信道传输,无需进一步信道编码。 PDF p.1 PDF p.2

实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.2 PDF p.3

接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:显式数字语义表示:bit、离散 token 或码本 index

发送端发送量化比特、离散令牌或码本 index,而非无约束的连续潜在信号。这被归类为:显式数字语义表示:bit、离散 token 或码本 index。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:离散变量经数字链路传输;需检查残余 bit/index error

在拟议的传输路径中,信道处理方式如下:离散变量经数字链路传输;需检查残余位/索引误差。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上是从解码后的比特/索引或其噪声/软估计开始,随后进行语义量化和重建。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、BPG

指标:PSNR、SSIM、LPIPS、accuracy、latency

信道:AWGN

实验使用论文中所述的源/任务数据集;与DeepJSCC和BPG比较;评估标准为PSNR、SSIM、LPIPS、准确率和延迟;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

我们注意到,如果 z 在前述实数到复值变换后直接传输,所提出模型的 BCR 可达到 1/110。 PDF p.3 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Evolving Semantic Communication with Generative Modelling 架构/方法页
Evolving Semantic Communication with Generative Modelling,原 PDF 第 2 页(架构/方法页)。
Evolving Semantic Communication with Generative Modelling 关键结果页
Evolving Semantic Communication with Generative Modelling,原 PDF 第 4 页(关键结果页)。

Transformer-Aided Wireless Image Transmission With Channel Feedback

2024 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Haotian Wu; Yulin Shao; Emre Özfatura; Krystian Mikolajczyk; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已经确立了:我们考虑一个分段反馈信道模型,即发射机在每个分组后接收无噪声/无噪声的信道输出反馈。 PDF p.1 PDF p.2
  2. 仍然存在的问题:为单一带宽或信道条件训练的语义编码器具有固定表示,且在工作点变化时无法重新分配速率和保护。 PDF p.1 PDF p.2 PDF p.11
  3. 为什么已有方法解决不了:为单一带宽、信噪比或信道分布训练的模型具有固定的瓶颈和保护模式。当操作条件发生变化时,使用相同表示法进行重复推断无法为变得脆弱的信息重新分配速率或冗余。更具体地说,已有链路缺少本文随后引入的专用机制:因此,对于固定的总带宽分配,JSCC代码以m块(每个k个信道符号)传输n像素强度图像,用三元组(n, m, k)表示。 PDF p.1 PDF p.2 PDF p.11
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了带信道反馈的变压器辅助无线图像传输技术。其具体设计总结如下:论文开发了标题所述的方法:带信道反馈的变压器辅助无线图像传输。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系是这样,对于固定的总带宽分配,传输 n 像素强度图像(分 m 个块,每个 k 个信道符号组成)的 JSCC 代码用三元组 (n, m, k) 表示。表示或保护模式可以随着操作条件变化而变化,而非训练后保持固定。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值实验表明,我们的JSCCformer-f方案在反馈链路中具有抗噪声的鲁棒性,达到了最先进的性能。 PDF p.7

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了题目所述的方法:带信道反馈的变压器辅助无线图像传输。因此,对于固定的总带宽分配,传输 n 像素强度图像(分 m 个块,每个块包含 k 个信道符号)的 JSCC 代码用三元组 (n, m, k) 表示。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:因此,对于固定的总带宽分配,传输 n 像素强度的图像(分 m 块,每个块由 k 个信道符号组成),用三元组 (n, m, k) 表示。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:ImageNet、Kodak

Baseline:DeepJSCC、BPG、LDPC、WITT、NTSCC、separation-based

指标:PSNR、LPIPS、latency

信道:AWGN、Rayleigh、fading channel、MIMO、OFDM、broadcast channel

实验使用了ImageNet、柯达;与基于分离的DeepJSCC、BPG、LDPC、WITT、NTSCC比较;评估PSNR、LPIPS和潜伏期;并使用AWGN、Rayleigh、衰落信道、MIMO、OFDM、广播信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

数值实验表明,我们的JSCCformer-f方案在反馈链路中实现了最先进的性能,且对噪声具有鲁棒性。 PDF p.7

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:适配只在有限的带宽/信道范围内验证;控制信令、在线稳定性及超出训练范围后的外推仍不确定。

Transformer-Aided Wireless Image Transmission With Channel Feedback 架构/方法页
Transformer-Aided Wireless Image Transmission With Channel Feedback,原 PDF 第 2 页(架构/方法页)。
Transformer-Aided Wireless Image Transmission With Channel Feedback 关键结果页
Transformer-Aided Wireless Image Transmission With Channel Feedback,原 PDF 第 16 页(关键结果页)。

A Deep Joint Source-Channel Coding Scheme for Hybrid Mobile Multi-Hop Networks

2025 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Chenghong Bian; Yulin Shao; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已经确立了通过连接边缘设备与核心服务器的移动多跳网络之间的高效数据传输存在重大挑战,尤其是由于无线和有线段之间链路质量的差异。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.3
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少了本文随后引入的专用机制:在部署阶段,我们将两个潜在向量 zi 和 vi 的每个元素逐入到最近的整数 ˆzi 和 ˆvi:ˆzi, ˆvi = Q(zi), Q(vi), (2) 表示量子化运算。 PDF p.1 PDF p.2 PDF p.3
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了一种用于混合移动多跳网络的深度联合信源信道编码方案。其具体设计总结如下:论文开发了题目所述的方法:混合移动多跳网络的深度联合信源信道编码方案。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,在部署阶段,我们将两个潜在向量 zi 和 vi 的每个元素四舍五入到最接近的整数 ˆzi 和 ˆvi:ˆzi, ˆvi = Q(zi), Q(vi), (2) 表示量子化运算。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量数值模拟表明,我们的混合方案通过有效管理不同网络段之间的转换并优化可变信噪比(SNR)而优于传统全数字方法。 PDF p.6 PDF p.7

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文开发了题为《混合移动多跳网络的深度联合信源信道编码方案》的方法。在部署阶段,我们将两个潜在向量 zi 和 vi 的每个元素四舍五入到最近的整数 ˆzi 和 ˆvi:ˆzi, ˆvi = Q(zi), Q(vi), (2) 其中 Q(·) 表示量子化操作。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:在部署阶段,我们将两个潜在向量 zi 和 vi 的每个元素四舍五入到最近的整数 ˆzi 和 ˆvi:ˆzi, ˆvi = Q(zi), Q(vi), (2) 表示量化操作。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3 PDF p.4

实验设置与主要结论

数据集:CIFAR-10

Baseline:DeepJSCC、BPG、LDPC

指标:PSNR、SSIM、semantic similarity、latency

信道:AWGN、Rayleigh、fading channel、QAM

实验采用CIFAR-10;与DeepJSC、BPG、LDPC比较;评估时有PSNR、SSIM、语义相似度、延迟;并使用AWGN、Rayleigh、衰落信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3 PDF p.4

大量数值模拟表明,我们的混合方案通过有效管理不同网络段之间的转换并优化可变信噪比(SNR)而优于传统全数字方法。 PDF p.6 PDF p.7

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A Deep Joint Source-Channel Coding Scheme for Hybrid Mobile Multi-Hop Networks 架构/方法页
A Deep Joint Source-Channel Coding Scheme for Hybrid Mobile Multi-Hop Networks,原 PDF 第 1 页(架构/方法页)。
A Deep Joint Source-Channel Coding Scheme for Hybrid Mobile Multi-Hop Networks 关键结果页
A Deep Joint Source-Channel Coding Scheme for Hybrid Mobile Multi-Hop Networks,原 PDF 第 11 页(关键结果页)。

Compression Beyond Pixels: Semantic Compression with Multimodal Foundation Models

2025 · 2025 IEEE 35th International Workshop on Machine Learning for Signal Processing (MLSP) · 联合信源信道编码(JSCC)与语义信源编码

作者:Ruiqi Shen; Haotian Wu; Wenjing Zhang; Jiangjing Hu; Deniz Gunduz

团队归属:补充数据库轮次核验:指定负责人直接署名(Deniz Gunduz, Deniz Gündüz);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明预训练生成模型能够从紧凑的语义条件重建合理的来源细节,表明可预测内容不必全部通过无线电链路传输。 PDF p.1
  2. 仍然存在的问题:新兴应用越来越重视语义保持而非像素级重建,要求在多样化数据分布和下游任务中拥有强有力的性能。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺少本文随后引入的论文特有机制:为此,我们引入了一个基于乘积量子化的变分自编码器,带有共享码本(PQVAE-shared),它将CLIP特征压缩到保留语义信息所需的最小位数。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文发展了《超越像素的压缩:多模基础模型的语义压缩》。其具体设计总结如下:论文发展了题目中描述的方法:超越像素的压缩:含多模基础模型的语义压缩。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,为了实现这一点,我们引入了基于乘积量子化的变分自编码器,并带有共享码本(PQVAE-shared),它将CLIP特征压缩到保留语义信息所需的最小位数。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:即使在0.52桶/日(400比特/图像)下,我们的方法仍能实现81.81%,压缩超过30×,且仅有轻微的精度下降。 PDF p.3 PDF p.4

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了题目所述的方法:超越像素的压缩:多模基础模型的语义压缩。为此,我们引入了基于乘积量子化的变分自编码器,采用共享码本(PQVAE-shared),将CLIP特征压缩到保留语义信息所需的最小位数。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:为此,我们引入了基于乘积量化的变分自编码器,采用共享码本(PQVAE-shared),将CLIP特征压缩到保留语义信息所需的最小位数。 PDF p.1 PDF p.2

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:ImageNet

Baseline:论文未在结构化字段中明确列出

指标:accuracy、CLIP

信道:信道接口报告不足或由传统链路抽象承担

实验使用ImageNet;与论文中标明的参考系统进行比较;准确评估,CLIP;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

即使在0.52 bpd(400位/图像)下,我们的方法也能实现81.81%,压缩超过30×,精度仅有轻微下降。 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Compression Beyond Pixels: Semantic Compression with Multimodal Foundation Models 架构/方法页
Compression Beyond Pixels: Semantic Compression with Multimodal Foundation Models,原 PDF 第 2 页(架构/方法页)。
Compression Beyond Pixels: Semantic Compression with Multimodal Foundation Models 关键结果页
Compression Beyond Pixels: Semantic Compression with Multimodal Foundation Models,原 PDF 第 4 页(关键结果页)。

Deep Joint Source Channel Coding for Privacy-Aware End-to-End Image Transmission

2025 · IEEE Transactions on Machine Learning in Communications and Networking · 通信安全与隐私

作者:Mehdi Letafati; Seyyed Amirhossein Ameli Kalkhoran; Ecenaz Erdemir; Babak Hossein Khalaj; Hamid Behroozi; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已确立基于深度神经网络(DNN)的联合源和信道编码被提出用于针对多个窃听者的隐私意识端到端图像传输。 PDF p.1 PDF p.2
  2. 仍然存在的问题:这些研究仅专注于通过DNN学习安全信道编码,而未将源编码和信道编码共同考虑,即对消息内容进行无差异化。 PDF p.2 PDF p.3 PDF p.10
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺少本文随后引入的论文特有机制:A和B使用DNN,并通过利用自编码器的概念实现安全的Depp-JSCC。 PDF p.2 PDF p.3 PDF p.10
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了用于隐私感知端到端图像传输的深度联合信源信道编码。其具体设计总结如下:论文开发了题目所述的方法:深度联合信源信道编码用于隐私意识端到端图像传输。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于A和B使用DNN,并通过利用自编码器的概念实现安全的Depp-JSCC。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:之后,我们可以在不显著增加泄漏的情况下实现更高的SSIMs。 PDF p.9 PDF p.10

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了题目所述的方法:隐私感知端到端图像传输的深度联合信源信道编码。A和B使用DNN,并通过自编码器的概念实现安全的Depp-JSCC操作。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:A 和 B 使用 DNN,并通过自编码器的概念执行安全的 Depp-JSCC 指令。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.8

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.8

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:CIFAR-10、ImageNet、Kodak

Baseline:DeepJSCC

指标:PSNR、SSIM、accuracy、latency

信道:AWGN、Rayleigh、fading channel、MIMO

实验使用CIFAR-10、ImageNet、柯达;与DeepJSCC比较;评估PSNR、SSIM、准确性、延迟;并使用AWGN、Rayleigh、衰落信道、MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

之后,我们可以在不显著增加泄漏的情况下实现更高的SSIM。 PDF p.9 PDF p.10

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

Deep Joint Source Channel Coding for Privacy-Aware End-to-End Image Transmission 架构/方法页
Deep Joint Source Channel Coding for Privacy-Aware End-to-End Image Transmission,原 PDF 第 3 页(架构/方法页)。
Deep Joint Source Channel Coding for Privacy-Aware End-to-End Image Transmission 关键结果页
Deep Joint Source Channel Coding for Privacy-Aware End-to-End Image Transmission,原 PDF 第 10 页(关键结果页)。

Goal-Oriented Joint Source–Channel Coding: Distortion–Classification–Power Trade-off

2025 · ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) · 任务导向联合信源信道设计

作者:Andriy Enttsel; Weicheng Wang; Mauro Mangia; R. Rovatti; Deniz Gunduz

团队归属:补充数据库轮次核验:指定负责人直接署名(Deniz Gunduz, Deniz Gündüz);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明任务导向通信表明,发射端可以发送任务足够的特征,而无需在接收端重建每个源样本。 PDF p.1
  2. 仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1 PDF p.3
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺少本文随后引入的论文特有机制:论文发展了标题中描述的方法:目标导向联合信源信道编码:失真-分类-功耗权衡。 PDF p.1 PDF p.3
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文发展了“目标导向联合信源信道编码:失真-分类-功耗权衡”。其具体设计总结如下:论文发展了标题所述的方法:目标导向联合信源信道编码:失真-分类-功耗权衡。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,本文发展了题目中描述的方法:目标导向联合源信编码:失真-分类-功率权衡。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们的结果表明,尽管分段线性方案的最优性不成立,但与纯重构或纯分类的极端情况不同,它为零延迟传输提供了低复杂度的近优替代方案。 PDF p.5 PDF p.7

系统怎么工作

该系统是任务导向推理的端到端通信链路。论文发展了题目中描述的方法:目标导向联合信源信道编码:失真-分类-功耗权衡。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源数据是源数据以及一个下游任务。 PDF p.1

发送端:发送者应用了论文的语义/信源信道编码器:论文发展了标题所述的方法:目标导向联合信源信道编码:失真-分类-功率权衡。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:JPEG

指标:accuracy、latency

信道:AWGN、MIMO

实验使用论文中所述的源/任务数据集;与JPEG进行比较;准确评估,延迟;并使用AWGN,MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.4

我们的结果表明,尽管分段线性方案的最优性不成立,但与纯重构或纯分类的极端情况不同,它为零延迟传输提供了低复杂度的近最优替代方案。 PDF p.5 PDF p.7

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Goal-Oriented Joint Source–Channel Coding: Distortion–Classification–Power Trade-off 架构/方法页
Goal-Oriented Joint Source–Channel Coding: Distortion–Classification–Power Trade-off,原 PDF 第 1 页(架构/方法页)。
Goal-Oriented Joint Source–Channel Coding: Distortion–Classification–Power Trade-off 关键结果页
Goal-Oriented Joint Source–Channel Coding: Distortion–Classification–Power Trade-off,原 PDF 第 11 页(关键结果页)。

Multi-Hop Deep Joint Source-Channel Coding With Deep Hash Distillation for Semantically Aligned Image Recovery

2025 · ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) · 联合信源信道编码(JSCC)与语义信源编码

作者:Didrik Bergstrom; Deniz Gunduz; Onur Gunlu

团队归属:补充数据库轮次核验:指定负责人直接署名(Deniz Gunduz, Deniz Gündüz);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.4
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的专用机制:我们用K-均值算法计算2NQb码字的中心[14],并假设码本可在中继R1和目的站获得。 PDF p.1 PDF p.2 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了多跳深度联合信源信道编码与深度哈希蒸馏,实现语义对齐图像恢复。其具体设计总结如下:论文开发了题目所述的方法:多跳深度联合信源信道编码与深度哈希蒸馏以实现语义对齐图像恢复。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系是:我们用K均值算法计算2NQb码字的中心[14],并假设码本在中继R1和目的站可用。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们提出的DeepJSCC编码-解码结构与基线相同,只是我们用DHD训练DeepJSCC,以实现源图像S和bS之间的语义对齐。 PDF p.3 PDF p.4

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文开发了题目所述的方法:多跳深度联合信源信道编码与深度哈希蒸馏以实现语义对齐图像恢复。我们用K均值算法计算2NQb码字的中心[14],并假设码本在中继R1和目的站可用。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:我们用K-均值算法计算2NQb码字的中心[14],并假设码本已在中继R1和目的站可用。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、separation-based

指标:PSNR、LPIPS、accuracy、latency

信道:AWGN

实验使用论文中所述的源/任务数据集;与基于分离的DeepJSCC比较;评估PSNR、LPIPS、准确性和延迟;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

我们提出的DeepJSCC编码-解码结构与基线相同,唯一不同的是我们用DHD训练DeepJSCC,以实现源图像与重建图像S和bS之间的语义对齐。 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Multi-Hop Deep Joint Source-Channel Coding With Deep Hash Distillation for Semantically Aligned Image Recovery 架构/方法页
Multi-Hop Deep Joint Source-Channel Coding With Deep Hash Distillation for Semantically Aligned Image Recovery,原 PDF 第 3 页(架构/方法页)。
Multi-Hop Deep Joint Source-Channel Coding With Deep Hash Distillation for Semantically Aligned Image Recovery 关键结果页
Multi-Hop Deep Joint Source-Channel Coding With Deep Hash Distillation for Semantically Aligned Image Recovery,原 PDF 第 4 页(关键结果页)。

Pragmatic Communication for Remote Control of Finite-State Markov Processes

2025 · IEEE Journal on Selected Areas in Communications · 任务导向联合信源信道设计

作者:Pietro Maria Talli; Edoardo David Santi; Federico Chiariotti; Touraj Soleymani; Federico Mason; Andréa Zanella; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已确立,务实或目标导向的通信能够优化通信决策,超越数据的可靠传输,而是以最小信道利用率直接影响应用性能。 PDF p.1
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留任务导向推理目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.7
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:该模型通常由编码器和解码器组成,可以交换信息,并应协同完成目标。 PDF p.1 PDF p.2 PDF p.7
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了用于有限状态马尔可夫过程远程控制的实用通信。其具体设计总结如下:本文通过成本高昂的零延迟通信信道,开发了有限态马尔可夫过程远程控制的通用理论框架。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,该模型通常由编码器和解码器组成,它们可以交换信息,并应协同完成目标。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据为:算法1 基于拉取的修改策略迭代(MPI) 要求:P, r, β 1: 初始化Vd(∆t, st−∆t) ←0,随机化πd(∆t, st−∆t), τ 2: 当为真时 do 3: 对于(∆t, st−∆t) ∈S × {0, ..., Tmax} do 4: V ′ d (∆t, st−∆t) ←使用 (6) 5 进行更新: Vd ←V′ d ▷ 值更新步骤6:对于 ∆t ∈{0, . . . , Tmax} 执行▷迭代步骤7:对于st−∆t ∈S do 8: π′ d(∆t, st−∆t) ←用(7)9进行更新:τ ′(s) ←用(9) 10进行更新:如果π′ d = πd ∧τ ′ = τ,则11:返回πd,τ ▷收敛12:否则13:πd,τ ←π′ d, τ ′ ▷策略改进步骤。上述通信策略τ模型比从⟨∆t映射到的更紧凑, st−∆t⟩进行二进制拉取决策,因为解码器只会在Τ(st−∆t)步后拉取。 PDF p.5 PDF p.7

系统怎么工作

该系统是任务导向推理的端到端通信链路。本文通过成本高昂的零延迟通信信道,构建了有限状态马尔可夫过程远程控制的通用理论框架。该模型通常由编码器和解码器组成,它们可以交换信息,并应协同完成目标。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源数据是源数据以及一个下游任务。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:该模型通常由编码器和解码器组成,可以交换信息,并应协同完成目标。 PDF p.1

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2 PDF p.12

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.12

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.12

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:论文未在结构化字段中明确列出

指标:throughput

信道:信道接口报告不足或由传统链路抽象承担

实验使用论文中所述的源/任务数据集;与论文中标明的参考系统进行比较;计算吞吐量;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.12

算法1 基于拉取的修改策略迭代(MPI) 要求:P, r, β 1: 初始化 Vd(∆t, st−∆t) ←0,随机化 πd(∆t, st−∆t), τ 2: 当为真时执行 3: 对于 (∆t, st−∆t) ∈S × {0, ..., Tmax} do 4: V ′ d (∆t, st−∆t) ←使用 (6) 进行更新 5: Vd ←V′ d ▷ 值更新步骤6:对于∆t ∈{0, . . . , Tmax} 执行 ▷迭代步骤7: 对于st−∆t ∈S do 8: π′ d(∆t, st−∆t) ←用(7)更新 9: τ ′(s) ←用(9) 10更新:如果π′ d = πd ∧τ ′ = τ,则11:返回πd,τ ▷收敛12:否则13:πd, τ ←π′ d, τ ′ ▷策略改进步骤。上述通信策略τ模型比⟨∆t的映射更紧凑, st−∆t⟩进行二进制拉取决策,因为解码器只会在Τ(st−∆t)步后拉取。 PDF p.5 PDF p.7

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Pragmatic Communication for Remote Control of Finite-State Markov Processes 架构/方法页
Pragmatic Communication for Remote Control of Finite-State Markov Processes,原 PDF 第 2 页(架构/方法页)。
Pragmatic Communication for Remote Control of Finite-State Markov Processes 关键结果页
Pragmatic Communication for Remote Control of Finite-State Markov Processes,原 PDF 第 9 页(关键结果页)。

Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks

2025 · IEEE Journal on Selected Areas in Communications · 多用户接入、广播或中继

作者:Chenghong Bian; Yulin Shao; Haotian Wu; Emre Özfatura; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关工作方向已确定:我们引入了深度联合信源信道编码(DeepJSCC)方案,用于协同中继信道上的图像传输。 PDF p.1 PDF p.2
  2. 仍然存在的问题:大多数语义编解码器设计为点对点链路,不利用跨用户语义关联,也不共同处理异构信道、干扰和用户公平性。 PDF p.1 PDF p.4 PDF p.11
  3. 为什么已有方法解决不了:为每个用户独立运行点对点语义编解码器,会忽略共享内容、异构信道、干扰和公平性。因此,一旦用户共享同一媒介,单用户最优方案不必是可行或频谱高效的。更具体地说,已有链路缺少本文随后引入的论文特有机制:在DeepJSCC-AF协议中,继电器仅在遵守功率限制的前提下放大接收信号,而编码器和解码器网络则共同训练以利用继电器转发的信号。 PDF p.1 PDF p.4 PDF p.11
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了《过程与前进:合作中继网络上的深度联合信源信道编码》。其具体设计总结如下:我们引入了深度联合信源信道编码(DeepJSCC)方案,用于协同中继信道上的图像传输。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,在DeepJSCC-AF协议中,中继仅在遵守功率限制的前提下放大接收到的信号,而编码器和解码器网络则共同训练以受益于中继转发的信号。跨用户相关性和异构链接现在形成了联合传输的表示,而非重复的独立消息。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:仿真结果显示,DeepJSCC-PF在AWGN和Rayleigh衰落信道上的半双工和全双工中继场景下,以传统解码转发和压缩转发协议的最大可达速率运行于最先进的BPG图像压缩算法中表现优异。 PDF p.7 PDF p.8 PDF p.9

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们引入了深度联合信源信道编码(DeepJSCC)方案,用于通过协同中继信道传输图像。在DeepJSCC-AF协议中,中继器仅在遵守功耗限制的前提下放大接收信号,而编码器和解码器网络则共同训练以利用中继转发的信号。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:在DeepJSCC-AF协议中,继电器仅在遵守功率限制的前提下放大接收信号,而编码器和解码器网络则共同训练以利用继电器转发的信号。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.3 PDF p.8

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:多用户接入、广播或中继。研究多个用户共享频谱、干扰或中继时,语义相关性和异构信道如何改变发送策略。

给深度学习研究生的解释:不能把它看成简单扩大 batch size;每个接收端看到的信道和所需语义都不同,发送信号还会相互干扰。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.4 PDF p.5 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.4 PDF p.5 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3 PDF p.8

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3 PDF p.8

实验设置与主要结论

数据集:CIFAR-10

Baseline:DeepJSCC、BPG、separation-based

指标:PSNR、SSIM

信道:AWGN、Rayleigh、fading channel、MIMO、OFDM、relay channel

实验采用CIFAR-10;与基于分离的DeepJSCC、BPG比较;评估与PSNR、SSIM合作;并使用AWGN、Rayleigh、衰落信道、MIMO、OFDM、继电信道。一个代表性的工作条件是:注意[33]、[34]已证明通过引入自引模块,可以在AWGN信道实现信噪噪比自适应传输。 PDF p.1 PDF p.3 PDF p.8

仿真结果显示,DeepJSCC-PF在AWGN和Rayleigh衰落信道上的半双工中继场景下,以传统解码转发和压缩转发协议的最大可达速率运行,性能优于最先进的BPG图像压缩算法。 PDF p.7 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值在于提升频谱复用、覆盖或公平性,并证明优于逐用户运行点到点模型。

局限:证据多来自固定用户数与信道模型的仿真;扩展性、反馈开销、同步和与真实调度器的集成仍未充分回答。

Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks 架构/方法页
Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks,原 PDF 第 1 页(架构/方法页)。
Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks 关键结果页
Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks,原 PDF 第 10 页(关键结果页)。

SCSC: A Novel Standards-Compatible Semantic Communication Framework for Image Transmission

2025 · IEEE Transactions on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Xue Han; Yongpeng Wu; Zhen Gao; Biqian Feng; Yuxuan Shi; Denız Gündüz; Wenjun Zhang

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确立联合信源信道编码(JSCC)是下一代通信系统,特别是在复杂传输环境中的有前景范式。 PDF p.1
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.9
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:具体来说,可学习模块涉及一个预处理赋能网络(PPEN)以保存关键语义信息,以及一个预编码器与组合器增强网络(PCEN),用于通过资源受限的MIMO信道高效传输。 PDF p.1 PDF p.2 PDF p.9
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了《SCSC:一种新的兼容标准的图像传输语义通信框架》。其具体设计总结如下:本文提出了一种新颖的标准兼容JSCC框架,用于通过多输入多输出(MIMO)信道传输图像。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,具体来说,可学习模块包含一个预处理赋能网络(PPEN)用于保存关键语义信息,以及一个预编码器与组合器增强网络(PCEN),用于在资源受限的MIMO信道上高效传输。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.4
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果表明,我们的方案能够节省超过29%的信道带宽,并且相比受限的基线,所需的复杂度更低。 PDF p.8 PDF p.9 PDF p.10

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文提出了一种新颖的标准兼容JSCC框架,用于通过多输入多输出(MIMO)信道传输图像。具体来说,可学习模块包括一个预处理赋能网络(PPEN)用于保存关键语义信息,以及一个预编码器与组合器增强网络(PCEN),用于在资源受限的MIMO信道上高效传输。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.4

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.4

发送端:发送方应用论文的语义/信源信道编码器:具体来说,可学习模块包含一个预处理赋能网络(PPEN)用于保存关键语义信息,以及一个预编码器与组合器增强网络(PCEN),用于在资源受限的MIMO信道上高效传输。 PDF p.1 PDF p.2 PDF p.4

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.4

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.4

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.4

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.4

实验设置与主要结论

数据集:ImageNet、Kodak、CLIC、COCO、Cityscapes

Baseline:DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Polar、NTSCC、separation-based

指标:PSNR、SSIM、MS-SSIM、accuracy、latency、throughput、mIoU

信道:Rayleigh、fading channel、MIMO、QAM、relay channel

实验使用了ImageNet、柯达、CLIC、COCO、Cityscapes;与DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Polar、NTSCC等基于分离的软件进行比较;用PSNR、SSIM、MS-SSIM、精度、延迟、吞吐量、mIoU来评估;并使用Rayleigh衰落信道、MIMO、QAM继电信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.4

数值结果表明,我们的方案可节省超过29%的信道带宽,且相比受限基线所需复杂度更低。 PDF p.8 PDF p.9 PDF p.10

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

SCSC: A Novel Standards-Compatible Semantic Communication Framework for Image Transmission 架构/方法页
SCSC: A Novel Standards-Compatible Semantic Communication Framework for Image Transmission,原 PDF 第 2 页(架构/方法页)。
SCSC: A Novel Standards-Compatible Semantic Communication Framework for Image Transmission 关键结果页
SCSC: A Novel Standards-Compatible Semantic Communication Framework for Image Transmission,原 PDF 第 9 页(关键结果页)。

Semantics-Guided Diffusion for Deep Joint Source-Channel Coding in Wireless Image Transmission

2025 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Maojun Zhang; Haotian Wu; Guangxu Zhu; Richeng Jin; Xiaoming Chen; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明联合信源信道编码(JSCC)通过将源和信道统计数据联合纳入系统设计,提供了提升传输效率的有前景途径。 PDF p.1
  2. 仍然存在的问题:现有将扩散模型(DM)与JSCC集成的方案在将随机生成转化为精确重建并适应不同信道条件方面面临挑战。 PDF p.1 PDF p.2 PDF p.11
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏本文随后引入的论文特有机制:联合信源信道编码(JSCC)通过将源和信道统计数据联合纳入系统设计,提供了提升传输效率的有前景途径。 PDF p.1 PDF p.2 PDF p.11
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了用于无线图像传输中深度联合信源信道编码的语义引导扩散技术。其具体设计总结如下:在快速衰落信道中,我们引入无训练去噪策略,使SGD-JSCC能够有效调整信道增益的波动。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,联合信源信道编码(JSCC)通过将源和信道统计数据共同纳入系统设计,为提升传输效率提供了有前景的途径。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果表明,在语义信息指导和强大的DM的引导下,我们的方法优于现有的DeepJSCC方案,即使在极差的信道条件下也能提供令人满意的重建性能。 PDF p.6 PDF p.7 PDF p.9

系统怎么工作

该系统是图像传输或生成的端到端通信链路。在快速衰落信道中,我们引入无训练去噪策略,使SGD-JSCC能够有效调整信道增益的波动。联合信源信道编码(JSCC)通过将源和信道统计数据共同纳入系统设计,提供了一种有前景的途径,以提升传输效率。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文中的语义/信源信道编码器:联合信源信道编码(JSCC)通过将源和信道统计数据联合纳入系统设计,为提升传输效率提供了有前景的途径。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:ImageNet、Kodak、COCO

Baseline:DeepJSCC、LDPC、Polar、separation-based

指标:PSNR、LPIPS、FID、accuracy、latency、CLIP

信道:AWGN、Rayleigh、fading channel、MIMO、OFDM、QAM

实验使用ImageNet、柯达、COCO;与DeepJSCC、LDPC、Polar、基于分离的Polar进行比较;用PSNR、LPIPS、FID、准确性、延迟、CLIP来评估;并使用AWGN、Rayleigh、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:在这种情况下,接收信道输出可以等价地视为一个加性白高斯噪声(AWGN)信道的信道输出,其信噪比 = |h|2 σ² 。 PDF p.1 PDF p.2 PDF p.3

数值结果表明,在语义信息指导和强大的DM驱动下,我们的方法优于现有的DeepJSCC方案,即使在极差的信道条件下也能提供令人满意的重建性能。 PDF p.6 PDF p.7 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Semantics-Guided Diffusion for Deep Joint Source-Channel Coding in Wireless Image Transmission 架构/方法页
Semantics-Guided Diffusion for Deep Joint Source-Channel Coding in Wireless Image Transmission,原 PDF 第 3 页(架构/方法页)。
Semantics-Guided Diffusion for Deep Joint Source-Channel Coding in Wireless Image Transmission 关键结果页
Semantics-Guided Diffusion for Deep Joint Source-Channel Coding in Wireless Image Transmission,原 PDF 第 10 页(关键结果页)。

Token-Domain Multiple Access: Exploiting Semantic Orthogonality for Collision Mitigation

2025 · IEEE INFOCOM 2025 - IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS) · 多用户接入、广播或中继

作者:Li Qiao; Mahdi Boloursaz Mashhadi; Zhen Gao; Deniz Gündüz

团队归属:补充数据库轮次核验:指定负责人直接署名(Deniz Gunduz, Deniz Gündüz);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已证明点对点语义通信已表明,学习后的表示可以在保留重建或任务表现的同时减少信道使用。 PDF p.1
  2. 仍然存在的问题:大多数语义编解码器设计为点对点链路,不利用跨用户语义关联,也不共同处理异构信道、干扰和用户公平性。 PDF p.1 PDF p.6
  3. 为什么已有方法解决不了:为每个用户独立运行点对点语义编解码器,会忽略共享内容、异构信道、干扰和公平性。因此,一旦用户共享同一媒介,单用户最优方案不必是可行或频谱高效的。更具体地说,已有链路缺乏后来引入的论文特有机制:为了容纳更多设备,无源大规模访问(UMA)引入了共享前言代码本,其中消息以代码本内码字的索引表示。 PDF p.1 PDF p.6
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文发展了《令牌域多重访问:利用语义正交性进行碰撞缓解》。其具体设计总结如下:论文发展了题目所述的方法:令牌域多重访问:利用语义正交性进行碰撞缓解。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,为了容纳更多设备,无源大规模访问(UMA)引入了共享的前言码本,其中消息以码本内码字的索引表示。跨用户相关性和异构链接现在形成了联合传输的表示,而非重复的独立消息。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:注意,利用残差令牌集,搜索空间可以显著从 Q 缩小到 |Pr n|,这提高了预测的准确性。 PDF p.4 PDF p.5 PDF p.6

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文发展了题目中描述的方法:令牌域多重访问:利用语义正交性进行碰撞缓解。为了容纳更多设备,无源大规模访问(UMA)引入了共享前导码本,其中消息以码本中的码字索引表示。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:为了容纳更多设备,无源大规模访问(UMA)引入了共享的前言码本,其中消息以码本内码字的索引表示。 PDF p.1 PDF p.2

实际发送:传输对象是一个紧凑的文本提示词或令牌序列。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为语义层产生离散条件,链路层可靠性多由外部数字系统承担。 PDF p.4 PDF p.5 PDF p.6

接收端:接收端从收到的提示词/标记开始,这些标记对预训练生成模型进行条件化,并应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:多用户接入、广播或中继。研究多个用户共享频谱、干扰或中继时,语义相关性和异构信道如何改变发送策略。

给深度学习研究生的解释:不能把它看成简单扩大 batch size;每个接收端看到的信道和所需语义都不同,发送信号还会相互干扰。

实际发送了什么,以及占多少通信资源

表示与数字化判断:离散 token/文本提示;物理层通常由传统数字链路承载

发送方发送简洁的文本提示或令牌序列。这类分类为:离散 token/文本提示;物理层通常由传统数字链路承载。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1

信道怎样作用,接收端实际拿到什么

信道处理类别:语义层产生离散条件,链路层可靠性多由外部数字系统承担

在拟议的传输路径中,信道的处理方式如下:语义层产生离散条件,链路层可靠性多由外部数字系统承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4 PDF p.5 PDF p.6

接收端实际上是从收到的提示/标记开始,这些标记对预训练的生成模型进行了条件。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4 PDF p.5 PDF p.6

实验设置与主要结论

数据集:ImageNet

Baseline:DeepJSCC、BERT

指标:PSNR、LPIPS、accuracy、latency、BER

信道:Rayleigh、MIMO、OFDM、QAM

实验使用ImageNet;与DeepJSCC、BERT比较;使用PSNR、LPIPS、准确性、延迟、BER进行评估;并使用Rayleigh、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4 PDF p.5 PDF p.6

注意,利用残余令牌集,搜索空间可以显著从 Q 缩小到 |Pr n|,这提高了预测的准确性。 PDF p.4 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值在于提升频谱复用、覆盖或公平性,并证明优于逐用户运行点到点模型。

局限:证据多来自固定用户数与信道模型的仿真;扩展性、反馈开销、同步和与真实调度器的集成仍未充分回答。

Token-Domain Multiple Access: Exploiting Semantic Orthogonality for Collision Mitigation 架构/方法页
Token-Domain Multiple Access: Exploiting Semantic Orthogonality for Collision Mitigation,原 PDF 第 2 页(架构/方法页)。
Token-Domain Multiple Access: Exploiting Semantic Orthogonality for Collision Mitigation 关键结果页
Token-Domain Multiple Access: Exploiting Semantic Orthogonality for Collision Mitigation,原 PDF 第 4 页(关键结果页)。

Zero-Shot Semantic Communication With Multimodal Foundation Models

2025 · IEEE Transactions on Vehicular Technology · 联合信源信道编码(JSCC)与语义信源编码

作者:Jiangjing Hu; Haotian Wu; Wenjing Zhang; Fengyu Wang; Qiyong Xu; Hui Gao; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确认大多数现有语义通信(SemCom)系统使用深度联合信源信道编码(DeepJSCC)以目标导向的方式编码任务特定语义。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏后来引入的论文专用机制:为缓解压缩和信道噪声引起的电位降化,接收端设计了多模态传输感知提示学习(TAPL)机制,根据传输质量调整提示,增强系统鲁棒性和信道适应性。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了基于多模态基础模型的零射图语义通信。其具体设计总结如下:受此启发,本文提出了SemCLIP,一个零样本SemCom框架,利用对比语言-图像预训练(CLIP)模型。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果关系在于,为了缓解由压缩和信道噪声引起的igate电位降解,接收端设计了多模态传输感知提示学习(TAPL)机制,根据传输质量调整提示,增强系统的稳健性和信道适应性。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,SemCLIP在低信噪比下实现了41%的零发射性能提升,优于基线。 PDF p.2 PDF p.3 PDF p.4

系统怎么工作

该系统是图像传输或生成的端到端通信链路。受此启发,本文提出了SemCLIP,一个零样本SemCom框架,利用对比语言-图像预训练(CLIP)模型。为缓解因压缩和信道噪声引起的igate电位降级,接收端设计了多模态传输感知提示学习(TAPL)机制,根据传输质量调整提示,增强系统的稳健性和信道适应性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用了论文的语义/信源信道编码器:为缓解压缩和信道噪声引起的igate潜在降解,接收端设计了多模态传输感知提示学习(TAPL)机制,根据传输质量调整提示,增强系统的稳健性和信道适应性。 PDF p.1 PDF p.2

实际发送:传输对象是一个紧凑的文本提示词或令牌序列。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为语义层产生离散条件,链路层可靠性多由外部数字系统承担。 PDF p.1 PDF p.2

接收端:接收端从收到的提示词/标记开始,这些标记对预训练生成模型进行条件化,并应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:离散 token/文本提示;物理层通常由传统数字链路承载

发送方发送简洁的文本提示或令牌序列。这类分类为:离散 token/文本提示;物理层通常由传统数字链路承载。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:语义层产生离散条件,链路层可靠性多由外部数字系统承担

在拟议的传输路径中,信道的处理方式如下:语义层产生离散条件,链路层可靠性多由外部数字系统承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收端实际上是从收到的提示/标记开始,这些标记对预训练的生成模型进行了条件。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:ImageNet

Baseline:DeepJSCC、separation-based

指标:accuracy、semantic similarity、latency、CLIP

信道:AWGN、OFDM

实验使用ImageNet;与基于分离的DeepJSCC比较;评估准确性、语义相似性、延迟性、CLIP;并使用AWGN,OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

模拟结果表明,SemCLIP在低信噪比下实现了41%的零次拍摄性能提升,优于基线。 PDF p.2 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Zero-Shot Semantic Communication With Multimodal Foundation Models 架构/方法页
Zero-Shot Semantic Communication With Multimodal Foundation Models,原 PDF 第 2 页(架构/方法页)。
Zero-Shot Semantic Communication With Multimodal Foundation Models 关键结果页
Zero-Shot Semantic Communication With Multimodal Foundation Models,原 PDF 第 4 页(关键结果页)。

Diffusion Posterior Sampling with Channel Feedback for Adaptive Semantic Communication

2026 · ICC 2026 - IEEE International Conference on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Bingxuan Xu; Haotian Wu; Xiaodong Xu; Deniz Gunduz

团队归属:补充数据库轮次核验:指定负责人直接署名(Deniz Gunduz, Deniz Gündüz);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明预训练生成模型能够从紧凑的语义条件重建合理的来源细节,表明可预测内容不必全部通过无线电链路传输。 PDF p.1
  2. 仍然存在的问题:现有基于扩散的JSCC方案在三个关键方面缺乏适应性:(i)任务特定的微调,(ii)信道和速率适应,以及(iii)实例级泛化。 PDF p.1 PDF p.2 PDF p.5
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺少本文随后引入的论文特有机制:在该框架中,编码器直接将源数据映射到信道符号,而解码器则直接从噪声信道符号重建输出。 PDF p.1 PDF p.2 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文发展了带有信道反馈的扩散后验采样以实现自适应语义通信。其具体设计总结如下:论文发展了题目所述的方法:《带信道反馈的扩散后采样用于自适应语义通信》。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,在此框架下,编码器直接将源数据映射到信道符号,而解码器则直接从噪声信道符号重建输出。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据如下:我们指出传输可以持续到第N块,根据难度,每个输入图像都能实现不同质量的重建;或者在达到期望质量后,在第i个块后终止,从而形成可变长度的编码方案。 PDF p.3 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了标题所描述的方法:《带有信道反馈的扩散后采样用于自适应语义通信》。在该框架中,编码器直接将源数据映射到信道符号,而解码器则直接从噪声信道符号重建输出。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.5

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.5

发送端:发送方应用论文的语义/信源信道编码器:在该框架中,编码器直接将源数据映射到信道符号,而解码器则直接从噪声信道符号重建输出。 PDF p.1 PDF p.2 PDF p.5

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2 PDF p.4 PDF p.5

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.5

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.5

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.4 PDF p.5

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.4 PDF p.5

实验设置与主要结论

数据集:Kodak

Baseline:DeepJSCC

指标:PSNR、SSIM、MS-SSIM、LPIPS

信道:AWGN、MIMO

实验使用柯达;与DeepJSCC比较;评估使用PSNR、SSIM、MS-SSIM、LPIPS;并使用AWGN,MIMO。一个代表性的运行状态为:不同信噪比(SNR)的性能比较,CBR = 1/32。需要模型重新训练。 PDF p.2 PDF p.4 PDF p.5

我们指出传输可以持续到第N个区块,根据输入图像的难度实现不同质量的重建;或者在达到期望质量后,在第i个块后终止,从而形成可变长度的编码方案。 PDF p.3 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Diffusion Posterior Sampling with Channel Feedback for Adaptive Semantic Communication 架构/方法页
Diffusion Posterior Sampling with Channel Feedback for Adaptive Semantic Communication,原 PDF 第 1 页(架构/方法页)。
Diffusion Posterior Sampling with Channel Feedback for Adaptive Semantic Communication 关键结果页
Diffusion Posterior Sampling with Channel Feedback for Adaptive Semantic Communication,原 PDF 第 5 页(关键结果页)。

Diffusion-Aided Extreme Video Compression with Lightweight Semantics Guidance

2026 · ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) · 联合信源信道编码(JSCC)与语义信源编码

作者:Maojun Zhang; Haotian Wu; Richeng Jin; Deniz Gunduz; K. Mikolajczyk

团队归属:补充数据库轮次核验:指定负责人直接署名(Deniz Gunduz, Deniz Gündüz);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明预训练生成模型能够从紧凑的语义条件重建合理的来源细节,表明可预测内容不必全部通过无线电链路传输。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.2 PDF p.4
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺少本文随后引入的论文专用机制:具体来说,我们的方法是压缩视频的高层语义表示,然后使用条件扩散模型从这些语义中重建帧。 PDF p.1 PDF p.2 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了带有轻量级语义指导的扩散辅助极限视频压缩技术。其具体设计总结如下:论文发展了标题所述的方法:扩散辅助极限视频压缩与轻量语义指导。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,具体来说,我们的方法压缩视频的高层语义表示,然后利用条件扩散模型从这些语义中重建帧。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:为实现这一点,需要一个视频扩散模型,根据摄像机姿态和前景分割的指导生成视频。 PDF p.3 PDF p.4

系统怎么工作

该系统是视频传输或生成的端到端通信链路。论文发展了题目所述的方法:《扩散辅助极限视频压缩与轻量级语义指导》。具体来说,我们的方法压缩视频的高层语义表示,然后使用条件扩散模型从这些语义中重建帧。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:其来源是视频帧或视频语义。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:具体来说,我们的方法压缩视频的高层语义表示,然后使用条件扩散模型从这些语义中重建帧。 PDF p.1 PDF p.2

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的视频。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:视频传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:H.264、H.265、BERT

指标:LPIPS、CLIP

信道:信道接口报告不足或由传统链路抽象承担

实验使用论文中所述的源/任务数据集;与H.264、H.265、BERT比较;使用LPIPS、CLIP进行评估;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

为此,需要一个视频扩散模型,根据相机姿态和前景分割的指导生成视频。 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Diffusion-Aided Extreme Video Compression with Lightweight Semantics Guidance 架构/方法页
Diffusion-Aided Extreme Video Compression with Lightweight Semantics Guidance,原 PDF 第 1 页(架构/方法页)。
Diffusion-Aided Extreme Video Compression with Lightweight Semantics Guidance 关键结果页
Diffusion-Aided Extreme Video Compression with Lightweight Semantics Guidance,原 PDF 第 3 页(关键结果页)。

In-Context Learning for Deep Joint Source-Channel Coding Over MIMO Channels

2026 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Meng Hua; Wenjing Zhang; Chenghong Bian; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已证明大型语言模型具备执行上下文学习(ICL)的能力,即模型通过直接将任务中的查询和几个样本映射到输出变量来进行预测。 PDF p.1
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.4 PDF p.8
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文特有机制:我们首先研究无硬件损伤的收发器,并探讨基于变压器的ICL与DeepJSCC在开环和闭环MIMO系统中的集成,具体取决于收发器处信道状态信息(CSI)的可用性。 PDF p.1 PDF p.4 PDF p.8
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了基于MIMO信道的深度联合信源信道编码的上下文学习。其具体设计总结如下:对于开环和闭环场景,我们提出了两种MIMO收发器架构,利用上下文信息(即导引序列及其输出)作为额外输入,使DeepJSCC编码器、DeepJSCC解码器和ICL去噪器能够联合学习针对每个信道实现量身定制的编码、解码和估计策略。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,我们首先研究无硬件损伤的收发器,并探索基于变压器的ICL与DeepJSCC在开环和闭环MIMO系统中的集成,具体取决于收发器处信道状态信息(CSI)的可用性。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:所提出的基于变换器的ICL框架,结合上下文信息,在收发器智商不平衡下实现了端到端图像重建质量的显著提升。 PDF p.8 PDF p.9

系统怎么工作

该系统是图像传输或生成的端到端通信链路。对于开环和闭环场景,我们提出了两种MIMO收发器架构,利用上下文信息(即导引序列及其输出)作为额外输入,使DeepJSCC编码器、DeepJSCC解码器和ICL去噪器能够联合学习针对每个信道实现量身定制的编码、解码和估计策略。我们首先研究无硬件损伤的收发器,并探讨基于变压器的ICL与DeepJSCC在开环和闭环MIMO系统中的集成,具体取决于收发器处信道状态信息(CSI)的可用性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文中的语义/信源信道编码器:我们首先研究无硬件限制的收发器,并探讨基于变压器的ICL与DeepJSCC在开环和闭环MIMO系统中的集成,具体取决于收发器处信道状态信息(CSI)的可用性。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.4 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.4 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4

实验设置与主要结论

数据集:CIFAR-10

Baseline:DeepJSCC、BPG、SwinJSCC、separation-based

指标:PSNR、accuracy、latency

信道:MIMO、OFDM

实验采用CIFAR-10;与基于分离的DeepJSCC、BPG、SwinJSCC进行比较;用PSNR评估准确性、延迟;并使用MIMO、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4

所提出的基于变换器的ICL框架,结合上下文信息,在收发器智商不平衡下实现了端到端图像重建质量的显著提升。 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

In-Context Learning for Deep Joint Source-Channel Coding Over MIMO Channels 架构/方法页
In-Context Learning for Deep Joint Source-Channel Coding Over MIMO Channels,原 PDF 第 2 页(架构/方法页)。
In-Context Learning for Deep Joint Source-Channel Coding Over MIMO Channels 关键结果页
In-Context Learning for Deep Joint Source-Channel Coding Over MIMO Channels,原 PDF 第 8 页(关键结果页)。

Learning to Interfere in Non-Orthogonal Multiple-Access Joint Source-Channel Coding

2026 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Selim F. Yilmaz; Can Karamanlı; Denız Gündüz

团队归属:指定团队负责人直接署名:Denız Gündüz

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已经确立了:我们考虑多个发射器,旨在通过多重访问信道(MAC)传递其源信号(例如图像)。 PDF p.1
  2. 仍然存在的问题:传统通信系统通过在用户之间正交分配资源(时间和/或带宽)来减少干扰,从而限制了他们的容量。 PDF p.1 PDF p.3 PDF p.11
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:传统通信系统通过在用户之间正交分配资源(时间和/或带宽)来减少干扰,从而限制了用户的容量。 PDF p.1 PDF p.3 PDF p.11
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文发展了《学习干预非正交多址联合信源信道编码》。其具体设计总结如下:我们引入了一种机器学习辅助无线图像传输方法,结合了压缩和信道编码,使用多视角自编码器,使发射端能够同时使用所有可用信道资源,形成非正交多址(NOMA)方案。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,传统通信系统通过在用户之间正交分配资源(时间和/或带宽)来最大限度地减少干扰,从而限制了用户的容量。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.4
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:令人惊讶的是,我们的方法支持多达64个用户,并有进一步扩展潜力,与单用户模型相比,可训练参数数量仅增加了2.4%,显著提升了恢复后的图像质量,并在广泛的数据集、指标和信道条件下优于现有基于NOMA的方法。 PDF p.8 PDF p.9

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们引入了一种机器学习辅助无线图像传输方法,利用多视图自编码器将压缩和信道编码结合起来,使发射端能够同时使用所有可用信道资源,从而实现非正交多址(NOMA)方案。传统通信系统通过在用户之间正交分配资源(时间和/或带宽)来减少干扰,从而限制了他们的容量。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.4

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.4

发送端:发送方应用论文的语义/信源信道编码器:传统通信系统通过在用户之间正交分配资源(时间和/或带宽)来减少干扰,从而限制用户的容量。 PDF p.1 PDF p.2 PDF p.4

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.4

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.4 PDF p.8

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.4

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.4

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.4 PDF p.8

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.4 PDF p.8

实验设置与主要结论

数据集:CIFAR-10、ImageNet、Kodak、Europarl、Cityscapes、MNIST

Baseline:DeepJSCC、BPG、LDPC、separation-based

指标:PSNR、SSIM、MS-SSIM、LPIPS、throughput

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、OFDM、QAM、broadcast channel

实验使用CIFAR-10、ImageNet、柯达、Europarl、Cityscapes、MNIST;与基于分离的DeepJSC、BPG、LDPC进行比较;用PSNR、SSIM、MS-SSIM、LPIPS、吞吐量进行评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM、广播信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.4 PDF p.8

令人惊讶的是,我们的方法支持多达64名用户,并有进一步扩展潜力,可训练参数数量仅比单用户模型增加2.4%,显著提升了恢复后的图像质量,并在广泛的数据集、指标和信道条件下优于现有基于NOMA的方法。 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Learning to Interfere in Non-Orthogonal Multiple-Access Joint Source-Channel Coding 架构/方法页
Learning to Interfere in Non-Orthogonal Multiple-Access Joint Source-Channel Coding,原 PDF 第 1 页(架构/方法页)。
Learning to Interfere in Non-Orthogonal Multiple-Access Joint Source-Channel Coding 关键结果页
Learning to Interfere in Non-Orthogonal Multiple-Access Joint Source-Channel Coding,原 PDF 第 16 页(关键结果页)。

排除与边界记录

这些条目在检索中出现,但因预印本、综述/愿景、MDPI、主题边界或被期刊扩展版取代而未进入核心表。

年份标题原因
2021AirNet: Neural Network Transmission over the Air非正式期刊/会议技术论文类型:preprint
2021Bandwidth-Agile Image Transmission With Deep Joint Source-Channel Coding非正式期刊/会议技术论文类型:preprint
2021DeepJSCC-Q: Channel Input Constrained Deep Joint Source-Channel Coding非正式期刊/会议技术论文类型:preprint
2021DeepWiVe: Deep-Learning-Aided Wireless Video Transmission非正式期刊/会议技术论文类型:preprint
2021Privacy-Aware Communication Over a Wiretap Channel with Generative Networks非正式期刊/会议技术论文类型:preprint
2021Progressive Feature Transmission for Split Inference at the Wireless Edge非正式期刊/会议技术论文类型:preprint
2022A Theory of Semantic Communication非正式期刊/会议技术论文类型:preprint
2022Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications综述、教程、愿景或编者按,非正式技术研究论文
2022Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications非正式期刊/会议技术论文类型:preprint
2022Deep Joint Source-Channel and Encryption Coding: Secure Semantic Communications非正式期刊/会议技术论文类型:preprint
2022Deep Joint Source-Channel Coding for Semantic Communications非正式期刊/会议技术论文类型:preprint
2022Deep Joint Source-Channel Coding Over Cooperative Relay Networks非正式期刊/会议技术论文类型:preprint
2022Deep Neural Networks for Joint Source-Channel Coding非正式期刊/会议技术论文类型:book-chapter
2022DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding非正式期刊/会议技术论文类型:preprint
2022Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel非正式期刊/会议技术论文类型:preprint
2022Generative Joint Source-Channel Coding for Semantic Image Transmission非正式期刊/会议技术论文类型:preprint
2022Guest Editorial Special Issue on Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications非正式期刊/会议技术论文类型:editorial
2022Semantic Communications with Discrete-time Analog Transmission: A PAPR Perspective非正式期刊/会议技术论文类型:preprint
2022Space-time design for deep joint source channel coding of images Over MIMO channels非正式期刊/会议技术论文类型:preprint
2022Timely Wireless Edge Inference非正式期刊/会议技术论文类型:book-chapter
2022Transformer-Empowered 6G Intelligent Networks: From Massive MIMO Processing to Semantic Communication非正式期刊/会议技术论文类型:preprint
2022Vision Transformer for Adaptive Image Transmission over MIMO Channels非正式期刊/会议技术论文类型:preprint
2023A Hybrid Joint Source-Channel Coding Scheme for Mobile Multi-hop Networks非正式期刊/会议技术论文类型:preprint
2023A Hybrid Wireless Image Transmission Scheme with Diffusion非正式期刊/会议技术论文类型:preprint
2023Collaborative Semantic Communication for Edge Inference非正式期刊/会议技术论文类型:preprint
2023CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models非正式期刊/会议技术论文类型:preprint
2023Deep Joint Source-Channel Coding for Adaptive Image Transmission over MIMO Channels非正式期刊/会议技术论文类型:preprint
2023DeepJSCC-l++: Robust and Bandwidth-Adaptive Wireless Image Transmission非正式期刊/会议技术论文类型:preprint
2023Distributed Deep Joint Source-Channel Coding with Decoder-Only Side Information非正式期刊/会议技术论文类型:preprint
2023Features-over-the-Air: Contrastive Learning Enabled Cooperative Edge Inference非正式期刊/会议技术论文类型:preprint
2023Guest Editorial Special Issue on the Role of Freshness and Semantic Measures in the Transmission of Information for Next-Generation Networks非正式期刊/会议技术论文类型:editorial
2023High Perceptual Quality Wireless Image Delivery with Denoising Diffusion Models非正式期刊/会议技术论文类型:preprint
2023Secure Deep-JSCC Against Multiple Eavesdroppers非正式期刊/会议技术论文类型:preprint
2023Semantic Communication of Learnable Concepts非正式期刊/会议技术论文类型:preprint
2023Timely and Massive Communication in 6G: Pragmatics, Learning, and Inference正式出版但缺少可核验算法/实验贡献,归入背景材料
2023Timely and Massive Communication in 6G: Pragmatics, Learning, and Inference非正式期刊/会议技术论文类型:preprint
2023Transformer-aided Wireless Image Transmission with Channel Feedback非正式期刊/会议技术论文类型:preprint
2023Vision Transformer for Adaptive Image Transmission over MIMO Channels综述、教程、愿景或编者按,非正式技术研究论文
2024Deep Joint Source Channel Coding for Privacy-Aware End-to-End Image Transmission非正式期刊/会议技术论文类型:preprint
2024Distributed Indirect Source Coding with Decoder Side Information非正式期刊/会议技术论文类型:preprint
2024Energy-Constrained Information Storage on Memristive Devices in the Presence of Resistive Drift非正式期刊/会议技术论文类型:preprint
2024Evolving Semantic Communication with Generative Model非正式期刊/会议技术论文类型:preprint
2024Goal-Oriented and Semantic Communication in 6G AI-Native Networks: The 6G-GOALS Approach非正式期刊/会议技术论文类型:preprint
2024Joint Source-Channel Coding: Fundamentals and Recent Progress in Practical Designs非正式期刊/会议技术论文类型:preprint
2024Joint Source–Channel Coding: Fundamentals and Recent Progress in Practical Designs综述、教程、愿景或编者按,非正式技术研究论文
2024Pragmatic Communication for Remote Control of Finite-State Markov Processes非正式期刊/会议技术论文类型:preprint
2024Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks非正式期刊/会议技术论文类型:preprint
2024Semantic communications: Theories, technologies and applications综述、教程、愿景或编者按,非正式技术研究论文
2025Deep Joint Source and Channel Coding非正式期刊/会议技术论文类型:other
2025Multimodal LLM Integrated Semantic Communications for 6G Immersive Experiences非正式期刊/会议技术论文类型:preprint
2025Private Collaborative Edge Inference via Over-the-Air Computation非正式期刊/会议技术论文类型:preprint
2025SCSC: A Novel Standards-Compatible Semantic Communication Framework for Image Transmission非正式期刊/会议技术论文类型:preprint
2025Semantics-Guided Diffusion for Deep Joint Source-Channel Coding in Wireless Image Transmission非正式期刊/会议技术论文类型:preprint
2025Zero-Shot Semantic Communication with Multimodal Foundation Models非正式期刊/会议技术论文类型:preprint
2022AirNet: Neural Network Transmission over the Air存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:AirNet: Neural Network Transmission Over the Air (IEEE TWC, 2024)
2022Deep-Learning-Aided Wireless Video Transmission存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:DeepWiVe: Deep-Learning-Aided Wireless Video Transmission (IEEE JSAC, 2022)
2022DeepJSCC-Q: Channel Input Constrained Deep Joint Source-Channel Coding存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding (IEEE JSAIT, 2022)
2022Progressive Transmission of High-Dimensional Data Features for Inference at the Network Edge存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Progressive Feature Transmission for Split Classification at the Wireless Edge (IEEE TWC, 2022)
2022Transformer-Empowered 6G Intelligent Networks: From Massive MIMO Processing to Semantic Communication全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2023Deep Joint Source-Channel Coding for Semantic Communications全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2024A Hybrid Joint Source-Channel Coding Scheme for Mobile Multi-Hop Networks存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:A Deep Joint Source-Channel Coding Scheme for Hybrid Mobile Multi-Hop Networks (IEEE JSAC, 2025)
2024Deep Joint Source-Channel Coding Over the Relay Channel存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Process-and-Forward: Deep Joint Source-Channel Coding Over Cooperative Relay Networks (IEEE JSAC, 2025)
2024Goal-Oriented and Semantic Communication in 6G AI-Native Networks: The 6G-GOALS Approach全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单

方法与责任说明

书目元数据通过 OpenAlex、DOI 和出版页面核验;逐篇技术结论以本地 PDF 页码证据为准。自动定位不到可靠证据时明确标为待人工核查,不用摘要填充“阅读全文”结论。

AI Disclosure:本报告使用 AI 辅助完成检索、全文定位、结构化提取和网页生成;所有可核验论断均保留 DOI 或 PDF 页码入口。