← 返回调研主页

清华大学秦志金团队语义通信论文调研

面向具有深度学习基础、通信基础较少的读者。检索范围为 2021-01-01 至 2026-07-15;核心表仅保留正式同行评审技术研究论文,会议版若有期刊扩展版则只保留期刊版。

核心论文 61联合信源信道编码(JSCC)与语义信源编码 34资源分配与跨层优化 8任务导向联合信源信道设计 6通信安全与隐私 5多用户接入、广播或中继 2数字语义编码与学习接收机 2调制/波形与数字物理层接口 2待全文核验 1语义信息理论与性能度量 1

先看懂一篇通信论文处在哪

原始数据/任务
语义/信源编码
信道编码
调制、MIMO、OFDM
无线信道
译码/重建/任务

传统系统常分别优化这些方框;语义通信论文通常合并其中若干环节。评价一篇论文时要问:发送的中间表示是什么?占多少信道资源?噪声在哪里加入?接收端恢复的是原始数据还是任务结果?

常见带宽比可写为 $\rho=n/k$,其中 $k$ 是源样本维度,$n$ 是信道使用次数。只有在相同 $\rho$、发射功率和信道模型下,方法间性能比较才公平。

团队技术路线时间线

推荐阅读顺序

  1. Deep Learning Enabled Semantic Communication Systems
    图像传输或生成 · 连续神经 JSCC 信道符号(不属于严格数字语义通信)
  2. Task-Oriented Multi-User Semantic Communications
    任务导向推理 · 语义 feature/latent;论文未给出完整量化到 bitstream 的接口
  3. Deep Learning-Based Semantic Communication System for Wireless Image Transmission
    图像传输或生成 · 连续神经 JSCC 信道符号(不属于严格数字语义通信)

顺序按“早期基础 → 显式数字化 → 信道/多用户系统 → 最新生成式或跨层工作”组织;引用数只用于帮助挑入口,不代表论文质量排序。

论文筛选与定位表

年份完整标题出版物通信环节团队口径全文
2021A Lite Distributed Semantic Communication System for Internet of ThingsIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2021Deep Learning Enabled Semantic Communication SystemsIEEE Transactions on Signal Processing联合信源信道编码(JSCC)与语义信源编码directdownloaded
2021Semantic Communication Systems for Speech TransmissionIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2021Task-Oriented Multi-User Semantic Communications for VQAIEEE Wireless Communications Letters多用户接入、广播或中继directdownloaded
2022QoE-Aware Resource Allocation for Semantic Communication NetworksGLOBECOM 2022 - 2022 IEEE Global Communications Conference资源分配与跨层优化directdownloaded
2022Resource Allocation for Text Semantic CommunicationsIEEE Wireless Communications Letters资源分配与跨层优化directdownloaded
2022Robust Semantic Communications Against Semantic Noise2022 IEEE 96th Vehicular Technology Conference (VTC2022-Fall)联合信源信道编码(JSCC)与语义信源编码directdownloaded
2022Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial SystemsIEEE Transactions on Communications任务导向联合信源信道设计directdownloaded
2022Task-Oriented Multi-User Semantic CommunicationsIEEE Journal on Selected Areas in Communications多用户接入、广播或中继directdownloaded
2023Deep Learning Enabled Semantic Communications With Speech Recognition and SynthesisIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Robust Semantic Communications With Masked VQ-VAE Enabled CodebookIEEE Transactions on Wireless Communications数字语义编码与学习接收机directdownloaded
2023Semantic Communication With MemoryIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Semantic Communications With Variable-Length Coding for Extended RealityIEEE Journal of Selected Topics in Signal Processing联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Semantic-Aware Image Compressed Sensing2023 IEEE 33rd International Workshop on Machine Learning for Signal Processing (MLSP)联合信源信道编码(JSCC)与语义信源编码directdownloaded
2023Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs任务导向联合信源信道设计directdownloaded
2023Task-Oriented Semantic Communications for Speech Transmission任务导向联合信源信道设计directdownloaded
2024A GAN-Based Semantic Communication for Text Without CSIIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024A Robust Semantic Communication System for Image Transmission联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024A Robust Semantic Text Communication SystemIEEE Transactions on Wireless Communications任务导向联合信源信道设计directdownloaded
2024A Unified Multi-Task Semantic Communication System for Multimodal DataIEEE Transactions on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Adaptive Resource Allocation for Semantic Communication NetworksIEEE Transactions on Communications资源分配与跨层优化directdownloaded
2024Compression Ratio Learning and Semantic Communications for Video ImagingIEEE Journal of Selected Topics in Signal Processing联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative NetworksIEEE Journal of Selected Topics in Signal Processing资源分配与跨层优化directdownloaded
2024Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression2024 IEEE 34th International Workshop on Machine Learning for Signal Processing (MLSP)联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource AllocationIEEE Transactions on Wireless Communications通信安全与隐私directdownloaded
2024QoE-Based Semantic-Aware Resource Allocation for Multi-Task NetworksIEEE Transactions on Wireless Communications资源分配与跨层优化directdownloaded
2024Resource Optimization for Semantic-Aware Networks With Task OffloadingIEEE Transactions on Wireless Communications资源分配与跨层优化directdownloaded
2024Robust Semantic-Aware Neural Video Compression2024 IEEE Globecom Workshops (GC Wkshps)联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Semantic MIMO Systems for Speech-to-Text TransmissionIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2024Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel CodingIEEE Transactions on Wireless Communications任务导向联合信源信道设计directdownloaded
2024Wireless Video Transmission with Joint Semantic-Channel Coding联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Cross-Layer Security for Semantic Communications: Metrics and OptimizationIEEE Transactions on Vehicular Technology通信安全与隐私directdownloaded
2025Deep Learning-Based Semantic Communication System for Wireless Image TransmissionIEEE Wireless Communications Letters联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning ApproachIEEE Wireless Communications Letters资源分配与跨层优化directdownloaded
2025Generalizable 3D Gaussian Splatting Enabled Immersive Video Communications with Semantic CodingProceedings of the 3rd ACM Workshop on Mobile Immersive Computing, Networking, and Systems待全文核验directblocked_no_legal_pdf
2025Generative Semantic Communications for Robust Speech-to-Text TranslationIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Hybrid Digital-Analog Semantic CommunicationsIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Image Semantic Communication With Quadtree Partition-Based CodingIEEE Journal on Selected Areas in Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Joint Semantic-Channel Coding and Modulation for Point CloudICC 2025 - IEEE International Conference on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Joint Semantic-Channel Coding and Modulation for Token CommunicationsIEEE Transactions on Wireless Communications调制/波形与数字物理层接口directdownloaded
2025Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic ImpairmentIEEE Transactions on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Large AI Model-Enabled Generative Semantic Communications for Image TransmissionGLOBECOM 2025 - 2025 IEEE Global Communications Conference联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Large Model Empowered Streaming Speech Semantic CommunicationsIEEE Wireless Communications Letters联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Partial Sampling-Based Semantic CommunicationsIEEE Transactions on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAEIEEE Transactions on Cognitive Communications and Networking联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Robust Semantic Communications for Speech Transmission联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Secure Transmission in Wireless Semantic Communications With Adversarial TrainingIEEE Communications Letters通信安全与隐私directdownloaded
2025Semantic Communication Based on Large Language Model for Underwater Image TransmissionIEEE Transactions on Mobile Computing联合信源信道编码(JSCC)与语义信源编码directdownloaded
2025Semantic-Enabled Video Transmission over Packet Erasure Channel数字语义编码与学习接收机directdownloaded
2025Synchronous Multi-Modal Semantic Communication System With Packet-Level CodingIEEE Transactions on Wireless Communications调制/波形与数字物理层接口directdownloaded
2026A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End NetworksIEEE Wireless Communications Letters联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of ThingsIEEE Transactions on Mobile Computing通信安全与隐私directdownloaded
2026A hybrid bit and semantic communication systemScience China Information Sciences联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026An Information-Theoretic Metric for Semantic Value of Spatiotemporal InformationIEEE INFOCOM 2026 - IEEE Conference on Computer Communications语义信息理论与性能度量directdownloaded
2026Diffusion-Enabled Secure Semantic Communication Against EavesdroppingIEEE Transactions on Wireless Communications通信安全与隐私directdownloaded
2026Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel CodingICC 2026 - IEEE International Conference on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading2026 IEEE Wireless Communications and Networking Conference (WCNC)资源分配与跨层优化directdownloaded
2026Meta-Curriculum Federated Learning for Adaptive Task-Oriented Semantic CommunicationIEEE Wireless Communications Letters任务导向联合信源信道设计directdownloaded
2026Multimodal Semantic Communication With Information-Theoretic Disentangled RepresentationsIEEE Transactions on Wireless Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded
2026Robust Multimodal Semantic Communications with Semantic Fusion and CompensationICC 2026 - IEEE International Conference on Communications联合信源信道编码(JSCC)与语义信源编码directdownloaded

通信小白术语表

信源编码去掉源数据中的冗余,目标是用更少 bit/符号表示内容。
信道编码加入受控冗余,让接收端能够发现或纠正无线传输产生的错误。
JSCC联合信源信道编码;把压缩和抗噪声传输一起设计。
SNR信噪比;越低表示噪声相对越强。比较方法时必须保证 SNR 定义和功率约束一致。
带宽比/CBR信道使用次数相对源维度或像素数的比例,是通信开销而不是模型参数量。
CSI信道状态信息;发射端/接收端是否知道它,会显著改变问题难度。
cliff effect传统分离链路在低于解码门限后性能突然崩溃;模拟式 DeepJSCC 常呈渐进退化。
语义指标以任务正确率、BLEU、CLIP 相似度等衡量意义是否保留,但不自动等价于可靠通信。

A Lite Distributed Semantic Communication System for Internet of Things

2021 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Huiqiang Xie; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.3 PDF p.9
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文专用机制:具体来说,我们考虑的分布式语义通信系统包括以下三个步骤:1)模型初始化/更新:云端/边缘平台首先通过初始数据集训练语义通信模型。 PDF p.1 PDF p.3 PDF p.9
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,论文开发了《物联网的轻量分布式语义通信系统》。其具体设计总结如下:论文发展了标题所描述的方法:《一种轻量分布式语义通信系统:物联网》。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:其因果联系在于,我们所考虑的分布式语义通信系统包含以下三个步骤:1)模型初始化/更新:云端/边缘平台首先通过初始数据集训练语义通信模型。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:同时,DL技术也可用于提升信道估计的表现[36],[37]。 PDF p.5 PDF p.8 PDF p.9

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了标题所描述的方法:《物联网轻量分布式语义通信系统》。具体来说,我们考虑的分布式语义通信系统包括以下三个步骤:1)模型初始化/更新:云/边缘平台首先通过初始数据集训练语义通信模型。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:具体来说,我们考虑的分布式语义通信系统包括以下三个步骤:1)模型初始化/更新:云端/边缘平台首先通过初始数据集训练语义通信模型。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.10

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.10

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3 PDF p.4

实验设置与主要结论

数据集:Europarl

Baseline:Turbo、DeepSC

指标:PSNR、BLEU、accuracy、latency

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、erasure channel、QAM

这些实验使用Europarl;与Turbo、DeepSC对比;用PSNR、BLEU、准确性、延迟评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、擦除信道、QAM。一个代表性的操作条件为:参数大小 运行时间 BLEU 评分 γ = 0, m = 32 3,333,120 12.3 MB 20ms 0.895602 γ = 0.6, m = 8 1,333,247 1.28 MB 18ms 0.897143 量化,SNR = 12 dB,其中压缩比计算为 ψ = M × 32 Mpruned × m,(25) 其中 M 是修剪前的权重数,Mpruned 是修剪后剩余的权重数, 32 是 FP32 所需的比特数,m 是量化后的所需比特数。 PDF p.2 PDF p.3 PDF p.4

同时,DL技术也可用于提升信道估计的性能[36]、[37]。 PDF p.5 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A Lite Distributed Semantic Communication System for Internet of Things 架构/方法页
A Lite Distributed Semantic Communication System for Internet of Things,原 PDF 第 1 页(架构/方法页)。
A Lite Distributed Semantic Communication System for Internet of Things 关键结果页
A Lite Distributed Semantic Communication System for Internet of Things,原 PDF 第 8 页(关键结果页)。

Deep Learning Enabled Semantic Communication Systems

2021 · IEEE Transactions on Signal Processing · 联合信源信道编码(JSCC)与语义信源编码

作者:Huiqiang Xie; Zhijin Qin; Geoffrey Ye Li; Biing‐Hwang Juang

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确立,近年来,深度学习支持的端到端通信系统已被开发出来,将传统通信系统中的所有物理层块合并,从而实现联合收发器优化。 PDF p.1 PDF p.2
  2. 仍然存在的问题:此外,这些应用需要支持大规模连接且频谱资源有限,但延迟较低,这对传统的信源信道编码构成了关键挑战。 PDF p.1 PDF p.2 PDF p.8
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文特有机制:具体来说,发射器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以便后续传输。 PDF p.1 PDF p.2 PDF p.8
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了深度学习赋能语义通信系统。其具体设计总结如下:具体来说,我们提出了一种基于深度学习的语义通信系统,名为DeepSC,用于文本传输。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,发射器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以促进后续传输。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:与不考虑语义信息交换的传统通信系统相比,拟议的DeepSC对信道变化更具鲁棒性,能够实现更好的性能,尤其是在低信噪比(SNR)区域,这一点由广泛的仿真结果所证明。 PDF p.5 PDF p.6 PDF p.8

系统怎么工作

该系统是图像传输或生成的端到端通信链路。特别是,我们提出了一种基于深度学习的语义通信系统,名为DeepSC,用于文本传输。具体来说,发射器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以便后续传输。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:具体来说,发送器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以便后续传输。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.10 PDF p.13

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.10 PDF p.13

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3 PDF p.4

实验设置与主要结论

数据集:Europarl

Baseline:Turbo、BERT、DeepSC

指标:PSNR、BLEU、accuracy、semantic similarity、latency、BER、SER

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、erasure channel、QAM

这些实验使用Europarl;与Turbo、BERT、DeepSC比较;评估标准为PSNR、蓝图(BLEU)、准确性、语义相似性、延迟、BER、SER;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、擦除信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3 PDF p.4

与不考虑语义信息交换的传统通信系统相比,所提的DeepSC对信道变化更具鲁棒性,能够实现更好的性能,尤其是在低信噪比(SNR)区间,这一点由广泛的仿真结果所证明。 PDF p.5 PDF p.6 PDF p.8

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Deep Learning Enabled Semantic Communication Systems 架构/方法页
Deep Learning Enabled Semantic Communication Systems,原 PDF 第 3 页(架构/方法页)。
Deep Learning Enabled Semantic Communication Systems 关键结果页
Deep Learning Enabled Semantic Communication Systems,原 PDF 第 7 页(关键结果页)。

Semantic Communication Systems for Speech Transmission

2021 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhenzi Weng; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明语义通信通过探索语义信息可以显著提升传输效率。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:即使支持DL的通信系统在某些场景和条件下提供了更好的性能和/或更低的复杂度,其最先进的模型主要关注比特或符号层面的性能提升,通常以比特错误率(BER)或符号错误率(SER)作为性能指标。 PDF p.1 PDF p.8
  3. 为什么已有方法解决不了:位级目标将每个位错误视为同一事件,无法确定更改的位是否改变了句子意义、语音清晰度或任务决策。添加更强的常规代码可能会降低BER,但并不能直接优化语义扭曲。更具体地说,早期的流程缺乏本文随后引入的论文专用机制:注意力机制背后的动机是在训练神经网络时,通过赋予重要的语音信息更高的权重来识别它们。 PDF p.1 PDF p.8
  4. 为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文开发了语音传输的语义通信系统。其具体设计总结如下:具体来说,我们设计了一个支持深度学习(DL)的语音信号语义通信系统,名为DeepSC-S。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果关系在于,注意力机制背后的动机是在训练神经网络时,通过赋予其更高权重来识别关键语音信息。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,我们提出的DeepSC-S在语音信号指标(如信号与失真比和语音失真感知评估)方面均优于传统通信。 PDF p.4 PDF p.5 PDF p.6

系统怎么工作

该系统是语音/音频传输或识别的端到端通信链路。特别是,我们设计了一个支持深度学习(DL)的语音信号语义通信系统,名为DeepSC-S。这种注意力机制背后的动机,是在训练神经网络时通过赋予它们更高的权重来识别关键语音信息。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:信号来源是语音或音频。 PDF p.1 PDF p.2 PDF p.3

发送端:发送者应用论文的语义/信源信道编码器:注意力机制背后的动机是在训练神经网络时通过赋予重要言语信息更高的权重来识别它们。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是语音波形、文本转录或识别结果。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语音/音频传输或识别

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、Turbo、DeepSC

指标:accuracy、latency、BER、SER

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、OFDM、QAM

实验使用论文中所述的源/任务数据集;与DeepJSCC、Turbo、DeepSC比较;评估准确性、潜伏期、BER、SER;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4

模拟结果表明,我们提出的DeepSC-S在语音信号指标(如信号与失真比和语音失真感知评估)方面均优于传统通信。 PDF p.4 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Semantic Communication Systems for Speech Transmission 架构/方法页
Semantic Communication Systems for Speech Transmission,原 PDF 第 2 页(架构/方法页)。
Semantic Communication Systems for Speech Transmission 关键结果页
Semantic Communication Systems for Speech Transmission,原 PDF 第 6 页(关键结果页)。

Task-Oriented Multi-User Semantic Communications for VQA

2021 · IEEE Wireless Communications Letters · 多用户接入、广播或中继

作者:Huiqiang Xie; Zhijin Qin; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在这篇论文之前,相关研究领域已经确立了语义通信侧重于语义特征的传递。 PDF p.1 PDF p.2
  2. 仍然存在的问题:大多数语义编解码器设计为点对点链路,不利用跨用户语义关联,也不共同处理异构信道、干扰和用户公平性。 PDF p.1 PDF p.2 PDF p.4
  3. 为什么已有方法解决不了:为每个用户独立运行点对点语义编解码器,会忽略共享内容、异构信道、干扰和公平性。因此,一旦用户共享同一媒介,单用户最优方案不必是可行或频谱高效的。更具体地说,已有链路缺少本文随后引入的论文特有机制:具体来说,MU-DeepSC的收发器是联合设计和优化的,用于捕获相关多模态数据中的特征,用于任务导向传输。 PDF p.1 PDF p.2 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了面向任务的多用户语义通信(VQA)。其具体设计总结如下:为了利用多用户多模态数据之间的相关性,我们提出了一个深度神经网络支持的语义通信系统,名为MU-DeepSC,以执行视觉问答(VQA)任务为例。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,MU-DeepSC的收发器是联合设计和优化的,用于捕获相关多模态数据中的特征,用于任务导向传输。跨用户相关性和异构链接现在形成了联合传输的表示,而非重复的独立消息。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提议的MU-DeepSC对信道变化的鲁棒性优于传统通信系统,尤其是在低信噪比(SNR)区域。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是任务导向推理的端到端通信链路。为了利用多用户多模态数据之间的相关性,我们提出了一个名为MU-DeepSC的深度神经网络支持语义通信系统,用于执行视觉问答(VQA)任务。具体来说,MU-DeepSC的收发器是联合设计和优化的,用于从相关多模态数据中捕获特征,以实现面向任务的传输。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:具体来说,MU-DeepSC的收发器是联合设计和优化的,用于捕获相关多模态数据中的特征,用于任务导向传输。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:多用户接入、广播或中继。研究多个用户共享频谱、干扰或中继时,语义相关性和异构信道如何改变发送策略。

给深度学习研究生的解释:不能把它看成简单扩大 batch size;每个接收端看到的信道和所需语义都不同,发送信号还会相互干扰。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:ImageNet、VQA

Baseline:JPEG、LDPC、DeepSC

指标:accuracy

信道:AWGN、Rayleigh、Rician、QAM

实验使用ImageNet、VQA;与JPEG、LDPC、DeepSC进行比较;准确评估;并使用AWGN、Rayleigh、Rician、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

模拟结果表明,所提出的MU-DeepSC比传统通信系统更能抵抗信道变化,尤其是在低信噪比(SNR)区域。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值在于提升频谱复用、覆盖或公平性,并证明优于逐用户运行点到点模型。

局限:证据多来自固定用户数与信道模型的仿真;扩展性、反馈开销、同步和与真实调度器的集成仍未充分回答。

Task-Oriented Multi-User Semantic Communications for VQA 架构/方法页
Task-Oriented Multi-User Semantic Communications for VQA,原 PDF 第 2 页(架构/方法页)。
Task-Oriented Multi-User Semantic Communications for VQA 关键结果页
Task-Oriented Multi-User Semantic Communications for VQA,原 PDF 第 3 页(关键结果页)。

QoE-Aware Resource Allocation for Semantic Communication Networks

2022 · GLOBECOM 2022 - 2022 IEEE Global Communications Conference · 资源分配与跨层优化

作者:Lei Yan; Zhijin Qin; Rui Zhang; Yongzhao Li; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立,为了完成智能任务,语义通信仅传输任务相关信息,从而显著提升性能优于传统通信。 PDF p.3 PDF p.5 PDF p.6
  2. 仍然存在的问题:现有方案通常通过比特率或平均失真来固定或优化无线资源,但未反映用户和样本在任务层面的语义值差异。 PDF p.1 PDF p.5 PDF p.6
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺少本文随后引入的论文专用机制:第二个是信道分配和功耗分配子问题,该问题被建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。 PDF p.1 PDF p.5 PDF p.6
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.3 PDF p.5 PDF p.6
  5. 本文怎样顺着问题提出方案:因此,本文开发了语义通信网络的QoE感知资源分配。其具体设计总结如下:论文开发了题目所述的方法:语义通信网络的QoE感知资源分配。 PDF p.3 PDF p.5 PDF p.6
  6. 方案为什么有可能起作用:因果联系是 第二个是信道分配与功耗分配子问题,该子问题被建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.3 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示该方法在整体服务质量方面的有效性和优越性。 PDF p.4 PDF p.6

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。本文发展了题目所描述的方法:语义通信网络的QoE感知资源分配。第二个是信道分配与功率分配子问题,将其建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.3 PDF p.5

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.3 PDF p.5

发送端:发送方应用论文中的语义/信源信道编码器:第二个是信道分配与功耗分配子问题,将其建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。 PDF p.1 PDF p.3 PDF p.5

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.3 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.5

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.3 PDF p.5

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.3 PDF p.5

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.5

接收端实际上是从系统模型中假设的接收机模型出发的。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.5

实验设置与主要结论

数据集:VQA

Baseline:DeepSC

指标:accuracy、semantic similarity、throughput、BER

信道:Rayleigh、MIMO

实验中使用VQA;与DeepSC比较;准确性、语义相似度、吞吐量、BER;并使用雷利,MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.5

模拟结果显示该方法在整体服务质量方面具有有效性和优越性。 PDF p.4 PDF p.6

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

QoE-Aware Resource Allocation for Semantic Communication Networks 架构/方法页
QoE-Aware Resource Allocation for Semantic Communication Networks,原 PDF 第 2 页(架构/方法页)。
QoE-Aware Resource Allocation for Semantic Communication Networks 关键结果页
QoE-Aware Resource Allocation for Semantic Communication Networks,原 PDF 第 5 页(关键结果页)。

Resource Allocation for Text Semantic Communications

2022 · IEEE Wireless Communications Letters · 资源分配与跨层优化

作者:Lei Yan; Zhijin Qin; Rui Zhang; Yongzhao Li; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在这篇论文之前,相关研究已经证明语义通信在提升传输可靠性方面展现了巨大潜力,尤其是在低信噪比领域。 PDF p.2 PDF p.4
  2. 仍然存在的问题:语义通信的资源分配仍未被充分探索,这对于保障语义传输的可靠性和通信效率至关重要。 PDF p.1 PDF p.5
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏本文随后引入的论文特有机制:具体来说,以文本语义通信为例,首次定义了语义频谱效率(S-SE),用于优化信道分配和传输语义符号数量的资源分配。 PDF p.1 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为少量符号错误可能会改变整个句子的含义。因此,可靠性必须通过恢复的意义或下游语言任务质量来判断,而不仅仅是比特错误率。 PDF p.2 PDF p.4
  5. 本文怎样顺着问题提出方案:因此,论文发展了文本语义通信的资源分配。其具体设计总结如下:本文发展了标题所述的方法:文本语义通信的资源分配。 PDF p.2 PDF p.4
  6. 方案为什么有可能起作用:因果联系在于 具体来说,以文本语义通信为例,首次定义了语义谱效率(S-SE),用于优化资源分配,包括信道分配和传输语义符号数量。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.2 PDF p.4
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果证明了所提资源分配方法的有效性和可行性,以及语义通信在S-SE方面的优越性。 PDF p.2 PDF p.3 PDF p.4

系统怎么工作

该系统是文本传输/机器翻译的端到端通信链路。论文发展了题目所述的方法:文本语义通信资源分配。具体来说,以文本语义通信为例,首次定义了语义谱效率(S-SE),用于优化资源分配,包括信道分配和传输语义符号数量。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.4

输入:源是一个句子或标记序列。 PDF p.1 PDF p.2 PDF p.4

发送端:发送方应用论文的语义/信源信道编码器:具体来说,以文本语义通信为例,首次定义语义频谱效率(S-SE),用于优化资源分配,包括信道分配和传输语义符号数量。 PDF p.1 PDF p.2 PDF p.4

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.2 PDF p.4

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.2 PDF p.3

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.4

输出:最终输出是恢复的文本或翻译结果。 PDF p.1 PDF p.2 PDF p.4

它在通信系统的哪个位置

研究任务:文本传输/机器翻译

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上是从系统模型中假设的接收机模型出发的。然后它会重建恢复的文本或翻译结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:VQA

Baseline:BERT、DeepSC

指标:BLEU、semantic similarity

信道:AWGN、Rayleigh

实验中使用VQA;与BERT、DeepSC比较;用BLEU评估语义相似性;并使用AWGN,雷利。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

模拟结果证明了所提资源分配方法的有效性和可行性,以及语义通信在S-SE方面的优越性。 PDF p.2 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

Resource Allocation for Text Semantic Communications 架构/方法页
Resource Allocation for Text Semantic Communications,原 PDF 第 1 页(架构/方法页)。
Resource Allocation for Text Semantic Communications 关键结果页
Resource Allocation for Text Semantic Communications,原 PDF 第 3 页(关键结果页)。

Robust Semantic Communications Against Semantic Noise

2022 · 2022 IEEE 96th Vehicular Technology Conference (VTC2022-Fall) · 联合信源信道编码(JSCC)与语义信源编码

作者:Qiyu Hu; Guangyi Zhang; Zhijin Qin; Yunlong Cai; Guanding Yu; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明,尽管语义通信在大量任务中表现出满意表现,但语义噪声的影响及系统的鲁棒性尚未被充分研究。 PDF p.1 PDF p.2
  2. 仍然存在的问题:由于语义噪声极其微妙,合法用户几乎察觉不到,他们会像往常一样使用这些受污染的图片。 PDF p.1 PDF p.2 PDF p.6
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:为了进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计一个由发射端和接收端共享的离散码本,用于编码特征表示。 PDF p.1 PDF p.2 PDF p.6
  4. 为什么这个问题值得研究:这个问题很重要,因为语义质量必须在信道使用、功耗和延迟等真实预算下实现;否则,表面上的机器学习增益可能无法转化为通信系统的增益。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文发展了《针对语义噪声的强健语义通信》。其具体设计总结如下:论文发展了标题所述的方法:《针对语义噪声的强健语义通信》。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,为了进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计出发送端和接收端共享的离散码本,用于编码特征表示。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,我们提出的方法显著提升了语义通信系统对语义噪声的鲁棒性,并显著降低了传输开销。 PDF p.3 PDF p.6

系统怎么工作

该系统是通用语义通信系统的端到端通信链路。论文发展了题目所述的方法:《针对语义噪声的强健语义通信》。为了进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计了发送端和接收端共享的离散码本,用于编码特征表示。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是源数据和通信任务。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:为进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计一个由发送端和接收端共享的离散码本,用于编码特征表示。 PDF p.1 PDF p.2

实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.2 PDF p.3

接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建的内容或任务输出。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:通用语义通信系统

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:显式数字语义表示:bit、离散 token 或码本 index

发送端发送量化比特、离散令牌或码本 index,而非无约束的连续潜在信号。这被归类为:显式数字语义表示:bit、离散 token 或码本 index。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:离散变量经数字链路传输;需检查残余 bit/index error

在拟议的传输路径中,信道处理方式如下:离散变量经数字链路传输;需检查残余位/索引误差。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上是从解码后的比特/索引或其噪声/软估计开始,随后进行语义量化和重建。然后它重建的内容或任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、JPEG、LDPC

指标:accuracy、BER

信道:AWGN、Rayleigh、Rician、QAM

实验使用论文中所述的源/任务数据集;与DeepJSC、JPEG、LDPC进行比较;准确评估,BER;并使用AWGN、Rayleigh、Rician、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

模拟结果表明,我们提出的方法显著提升了语义通信系统对语义噪声的鲁棒性,并显著降低了传输开销。 PDF p.3 PDF p.6

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Robust Semantic Communications Against Semantic Noise 架构/方法页
Robust Semantic Communications Against Semantic Noise,原 PDF 第 2 页(架构/方法页)。
Robust Semantic Communications Against Semantic Noise 关键结果页
Robust Semantic Communications Against Semantic Noise,原 PDF 第 5 页(关键结果页)。

Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems

2022 · IEEE Transactions on Communications · 任务导向联合信源信道设计

作者:Xu Kang; Bin Song; Jie Guo; Zhijin Qin; F. Richard Yu

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已确立:物联网的快速发展使其计算和存储能力能够通过云与边缘的协作,扩展到空中系统的计算任务,尤其是在基于深度学习(DL)的人工智能(AI)任务中。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:由于存储和计算能力有限,无人机(UAV)收集大量图像/视频数据,只能将智能分析任务交给后端移动边缘计算(MEC)服务器。 PDF p.1 PDF p.2
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺乏本文随后引入的论文特有机制:[20] 将 DeepSC 从点到点传输扩展到多用户传输系统,其中源编码器和信道编码器均由深度网络组成。 PDF p.1 PDF p.2
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文开发了任务导向图像传输技术,用于无人机系统场景分类。其具体设计总结如下:受近年来任务导向通信的启发,我们提出了一种新的航拍图像传输范式用于场景分类任务。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果联系在于[20]将DeepSC从点到点传输扩展到多用户传输系统,其中源编码器和信道编码器均由深度网络组成。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,在相同条件下,该方法比其他语义显著性学习方法显著提升分类准确率超过4%。 PDF p.7 PDF p.10

系统怎么工作

该系统是任务导向推理的端到端通信链路。受近年来任务导向通信的启发,我们提出了一种新的航拍图像传输范式用于场景分类任务。[20] 将 DeepSC 从点到点传输扩展到多用户传输系统,其中源编码器和信道编码器均由深度网络组成。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:[20] 将 DeepSC 从点到点传输扩展到多用户传输系统,其中源编码器和信道编码器均由深度网络组成。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.5

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.5 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.5 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.5

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.5

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、DeepSC

指标:accuracy、latency、throughput

信道:AWGN、Rayleigh

实验使用论文中所述的源/任务数据集;与DeepJSCC、DeepSC比较;评估准确性、延迟和吞吐量;并使用AWGN,雷利。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.5

实验结果显示,在相同条件下,该方法比其他语义显著性学习方法显著提升分类准确率超过4%。 PDF p.7 PDF p.10

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems 架构/方法页
Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems,原 PDF 第 1 页(架构/方法页)。
Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems 关键结果页
Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems,原 PDF 第 6 页(关键结果页)。

Task-Oriented Multi-User Semantic Communications

2022 · IEEE Journal on Selected Areas in Communications · 多用户接入、广播或中继

作者:Huiqiang Xie; Zhijin Qin; Xiaoming Tao; Khaled B. Letaief

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已经证明,虽然语义通信在单模态单用户中展现了潜力,但在多用户场景中的应用仍然有限。 PDF p.1 PDF p.2
  2. 仍然存在的问题:虽然语义通信在单模态单用户的案例中展现了潜力,但其在多用户场景中的应用仍然有限。 PDF p.1 PDF p.2 PDF p.3
  3. 为什么已有方法解决不了:为每个用户独立运行点对点语义编解码器,会忽略共享内容、异构信道、干扰和公平性。因此,一旦用户共享同一媒介,单用户最优方案不必是可行或频谱高效的。更具体地说,已有链路缺少后来引入的专用机制:变换器网络由编码层和解码层组成。 PDF p.1 PDF p.2 PDF p.3
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文发展了面向任务的多用户语义通信。其具体设计总结如下:我们提出了基于变换器的框架,以统一不同任务中发射器的结构。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于变换器网络由编码层和解码层组成。跨用户相关性和异构链接现在形成了联合传输的表示,而非重复的独立消息。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果显示,所提出的模型在信道鲁棒性、计算复杂性、传输延迟以及任务执行性能等方面优于传统通信。 PDF p.8 PDF p.9

系统怎么工作

该系统是任务导向推理的端到端通信链路。我们提出了基于Transformer的框架,以统一不同任务中发射器的结构。变压器网络由编码层和解码层组成。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:变换器网络由编码层和解码层组成。 PDF p.1 PDF p.2

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.3 PDF p.8

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:多用户接入、广播或中继。研究多个用户共享频谱、干扰或中继时,语义相关性和异构信道如何改变发送策略。

给深度学习研究生的解释:不能把它看成简单扩大 batch size;每个接收端看到的信道和所需语义都不同,发送信号还会相互干扰。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.8

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.8

实验设置与主要结论

数据集:VQA

Baseline:DeepJSCC、JPEG、LDPC、Turbo、DeepSC

指标:BLEU、accuracy、latency

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、QAM

实验中使用VQA;与DeepJSC、JPEG、LDPC、Turbo、DeepSC进行比较;用 BLEU 评估准确性、延迟;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3 PDF p.8

数值结果显示,所提出的模型在信道鲁棒性、计算复杂度、传输延迟以及任务执行性能等方面优于传统通信。 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值在于提升频谱复用、覆盖或公平性,并证明优于逐用户运行点到点模型。

局限:证据多来自固定用户数与信道模型的仿真;扩展性、反馈开销、同步和与真实调度器的集成仍未充分回答。

Task-Oriented Multi-User Semantic Communications 架构/方法页
Task-Oriented Multi-User Semantic Communications,原 PDF 第 2 页(架构/方法页)。
Task-Oriented Multi-User Semantic Communications 关键结果页
Task-Oriented Multi-User Semantic Communications,原 PDF 第 12 页(关键结果页)。

Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis

2023 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhenzi Weng; Zhijin Qin; Xiaoming Tao; Chengkang Pan; Guangyi Liu; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究方向已确立:我们将语音识别和语音合成分别作为通信系统的传输任务。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,并未共同保留语音/音频传输或识别目标所需的语义内容。 PDF p.1 PDF p.3 PDF p.11
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:首先,语音识别相关的语义特征被联合语义信道编码器提取用于传输,文本则根据接收到的语义特征在接收端恢复,这大大减少了所需的数据传输量,同时不影响性能。 PDF p.1 PDF p.3 PDF p.11
  4. 为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了深度学习赋能的语义通信与语音识别和合成技术。其具体设计总结如下:本文开发了一套基于深度学习的语音传输语义通信系统,名为DeepSC-ST。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,首先,语音识别相关的语义特征被联合语义信道编码器提取出来传输,文本则根据接收到的语义特征在接收端恢复,这大大减少了所需的数据传输量,同时不影响性能。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,拟议的DeepSC-ST在低信噪比(SNR)区域内显著优于传统通信系统和现有支持DL的通信系统。 PDF p.9 PDF p.11 PDF p.13

系统怎么工作

该系统是语音/音频传输或识别的端到端通信链路。本文开发了一套基于深度学习的语音传输语义通信系统,名为DeepSC-ST。首先,语音识别相关的语义特征被联合语义信道编码器提取用于传输,文本则根据接收到的语义特征在接收端恢复,这大大减少了所需的数据传输量,同时不影响性能。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:信号来源是语音或音频。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:首先,语音识别相关的语义特征被联合语义信道编码器提取出来传输,接收端则根据接收到的语义特征恢复文本,这大大减少了所需的数据传输量,同时不影响性能。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.5 PDF p.6 PDF p.7

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是语音波形、文本转录或识别结果。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:语音/音频传输或识别

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.4 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.4 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.5 PDF p.6 PDF p.7

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.5 PDF p.6 PDF p.7

实验设置与主要结论

数据集:VQA

Baseline:Polar、DeepSC

指标:WER、CER、accuracy、latency

信道:AWGN、Rayleigh、Rician、fading channel、QAM

实验中使用VQA;可以和Polar、DeepSC比较;评估使用WER、CER、准确性、潜伏期;并使用AWGN、Rayleigh、Rician、衰落信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.5 PDF p.6 PDF p.7

根据模拟结果,拟议的DeepSC-ST在低信噪比(SNR)区域内,显著优于传统通信系统和现有支持DL的通信系统。 PDF p.9 PDF p.11 PDF p.13

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis 架构/方法页
Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis,原 PDF 第 4 页(架构/方法页)。
Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis 关键结果页
Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis,原 PDF 第 9 页(关键结果页)。

Robust Semantic Communications With Masked VQ-VAE Enabled Codebook

2023 · IEEE Transactions on Wireless Communications · 数字语义编码与学习接收机

作者:Qiyu Hu; Guangyi Zhang; Zhijin Qin; Yunlong Cai; Guanding Yu; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立:尽管语义通信在大量任务中表现出令人满意的表现,但语义噪声的影响及系统的鲁棒性尚未被充分研究。 PDF p.1 PDF p.2
  2. 仍然存在的问题:许多已学习的语义链止于连续的潜在状态,导致量化、有限符号映射以及位/索引错误的后果超出学习设计范围。 PDF p.1 PDF p.6 PDF p.10
  3. 为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺乏本文随后引入的论文专用机制:然后,我们提出对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量化变分自编码器(VQ-VAE)。 PDF p.1 PDF p.6 PDF p.10
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了带有掩蔽VQ-VAE支持码本的强健语义通信。其具体设计总结如下:然后,我们提议对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于。然后,我们提出对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提方法可应用于许多下游任务,显著提升了对语义噪声的鲁棒性,显著降低了传输开销。 PDF p.6 PDF p.7 PDF p.8

系统怎么工作

该系统是图像传输或生成的端到端通信链路。然后,我们计划对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:然后,我们提议对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。 PDF p.1 PDF p.2

实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.3 PDF p.5

接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:数字语义编码与学习接收机。在语义编码器和无线物理层之间加入量化、码本、bitstream 或学习式数字接收机。

给深度学习研究生的解释:相当于把 autoencoder 的 latent 真正变成可发送的离散对象;必须追踪 index/bit 错误怎样影响重建。

实际发送了什么,以及占多少通信资源

表示与数字化判断:显式数字语义表示:bit、离散 token 或码本 index

发送端发送量化比特、离散令牌或码本 index,而非无约束的连续潜在信号。这被归类为:显式数字语义表示:bit、离散 token 或码本 index。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:离散变量经数字链路传输;需检查残余 bit/index error

在拟议的传输路径中,信道处理方式如下:离散变量经数字链路传输;需检查残余位/索引误差。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.5

接收端实际上是从解码后的比特/索引或其噪声/软估计开始,随后进行语义量化和重建。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.5

实验设置与主要结论

数据集:CIFAR-10、ImageNet、MNIST

Baseline:DeepJSCC、JPEG、LDPC

指标:accuracy、semantic similarity、latency、BER、SER

信道:AWGN、MIMO、QAM

实验使用CIFAR-10、ImageNet、MNIST;与DeepJSC、JPEG、LDPC进行比较;评估准确性、语义相似性、延迟性、BER、SER;并使用AWGN、MIMO、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3 PDF p.5

模拟结果表明,该方法可应用于许多下游任务,显著提升了对语义噪声的鲁棒性,同时显著降低了传输开销。 PDF p.6 PDF p.7 PDF p.8

通信审稿价值与 Codex 判断

价值在于把连续神经仿真推进到数字协议接口,并检验有限星座、误码和接收复杂度。

局限:虽已有数字接口,残余 bit/index 错误、有限码长开销、同步以及完整 PHY 兼容性仍需进一步验证。

Robust Semantic Communications With Masked VQ-VAE Enabled Codebook 架构/方法页
Robust Semantic Communications With Masked VQ-VAE Enabled Codebook,原 PDF 第 3 页(架构/方法页)。
Robust Semantic Communications With Masked VQ-VAE Enabled Codebook 关键结果页
Robust Semantic Communications With Masked VQ-VAE Enabled Codebook,原 PDF 第 10 页(关键结果页)。

Semantic Communication With Memory

2023 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Huiqiang Xie; Zhijin Qin; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明,虽然语义通信能够高效传输,因为它能够高效提取关键语义信息,但仍远未达到智能或类人交流。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留通用语义通信系统目标所需的语义内容。 PDF p.1 PDF p.8
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少这里引入的论文特有机制:随后,借助语义编码器和信道编码器,第 k 个上下文句子在第 k 个时间隙上可以编码为 xc(k) = C (S (sc(k); α) ; β) , (1) 其中 xc(k) ∈CL×1 是功率归一化后的信号,S (·; α) 和 C (·; β) 分别表示为参数为 α 的语义编码器和参数为 β 的信道编码器, 分别。 PDF p.1 PDF p.8
  4. 为什么这个问题值得研究:这个问题很重要,因为语义质量必须在信道使用、功耗和延迟等真实预算下实现;否则,表面上的机器学习增益可能无法转化为通信系统的增益。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,论文发展了与记忆的语义通信。其具体设计总结如下:本文引入了一个关键组成部分——记忆,以模拟人类交流。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果联系是,随后,使用语义编码器和信道编码器,第 k 个上下文句在第 k 个时间槽内可以编码为 xc(k) = C (S (sc(k); α) ; β) , (1) 其中 xc(k) ∈CL×1 是功率归一化后的信号,S (·; α) 和 C (·; β) 分别表示为参数为 α 的语义编码器和参数为 β 的信道编码器, 分别。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果显示,所提出的Mem-DeepSC在答案准确性和传输效率(即传输符号数)方面优于基准测试。 PDF p.5 PDF p.6 PDF p.7

系统怎么工作

该系统是通用语义通信系统的端到端通信链路。本文引入了一个关键组成部分——记忆,以模拟人类交流。随后,使用语义编码器和信道编码器,第 k 个上下文句在第 k 个时间隙上可以编码为 xc(k) = C (S (sc(k); α) ; β) , (1) 其中 xc(k) ∈CL×1 是功率归一化后的信号,S (·; α) 和 C (·; β) 分别表示为参数为 α 的语义编码器和参数为 β 的信道编码器, 分别。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是源数据和通信任务。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:随后,结合语义编码器和信道编码器,第 k 个上下文句子在第 k 个时隙上可以编码为 xc(k) = C (S (sc(k); α) ; β) , (1) 其中 xc(k) ∈CL×1 是功率归一化后的信号,S (·; α) 和 C (·; β) 分别表示为参数为 α 的语义编码器和参数为 β 的信道编码器, 分别。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建的内容或任务输出。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:通用语义通信系统

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.4 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.4 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的内容或任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、Turbo、BERT、DeepSC

指标:accuracy

信道:AWGN、Rayleigh、Rician、fading channel、QAM

实验使用论文中所述的源/任务数据集;与DeepJSCC、Turbo、BERT、DeepSC比较;准确评估;并使用AWGN、Rayleigh、Rician、衰落信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

数值结果显示,所提出的Mem-DeepSC在答案准确性和传输效率(即传输符号数量)方面优于基准测试。 PDF p.5 PDF p.6 PDF p.7

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Semantic Communication With Memory 架构/方法页
Semantic Communication With Memory,原 PDF 第 2 页(架构/方法页)。
Semantic Communication With Memory 关键结果页
Semantic Communication With Memory,原 PDF 第 8 页(关键结果页)。

Semantic Communications With Variable-Length Coding for Extended Reality

2023 · IEEE Journal of Selected Topics in Signal Processing · 联合信源信道编码(JSCC)与语义信源编码

作者:Bowen Zhang; Zhijin Qin; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已证明无线扩展现实(XR)作为一种有前景的技术,能够提升用户的移动性和体验质量,受到广泛关注。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.9
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:特别是,我们首先使用速率分配网络估计语义信息的最佳代码长度,然后相应调整编码过程。 PDF p.1 PDF p.2 PDF p.9
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文提出了可变长度编码的扩展现实语义通信。其具体设计总结如下:为克服这一挑战,我们开发了一个语义通信框架,在语义编码器中对语义上不重要的信息进行高度压缩或丢弃,显著提升传输效率。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,我们首先使用速率分配网络来估算语义信息的最佳代码长度,然后相应调整编码过程。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果显示,我们的语义系统显著优于传统传输方法,且所提出的变长编码方案优于固定长度编码方法。 PDF p.9 PDF p.10

系统怎么工作

该系统是图像传输或生成的端到端通信链路。为克服这一挑战,我们开发了一个语义通信框架,在语义编码器中对语义编码器中不重要的信息进行高度压缩或丢弃,显著提升了传输效率。特别是,我们首先使用速率分配网络来估算语义信息的最佳代码长度,然后相应调整编码过程。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:具体来说,我们首先使用速率分配网络来估算语义信息的最佳代码长度,然后相应调整编码过程。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.5 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.5 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3

实验设置与主要结论

数据集:COCO、VQA

Baseline:DeepJSCC、BPG、LDPC、BERT

指标:PSNR、LPIPS、accuracy、latency

信道:AWGN

实验中使用COCO、VQA;与DeepJSC、BPG、LDPC、BERT比较;评估PSNR、LPIPS、准确性和延迟;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.3

数值结果表明,我们的语义系统显著优于传统传输方法,且所提出的变长编码方案优于固定长度编码方法。 PDF p.9 PDF p.10

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Semantic Communications With Variable-Length Coding for Extended Reality 架构/方法页
Semantic Communications With Variable-Length Coding for Extended Reality,原 PDF 第 2 页(架构/方法页)。
Semantic Communications With Variable-Length Coding for Extended Reality 关键结果页
Semantic Communications With Variable-Length Coding for Extended Reality,原 PDF 第 10 页(关键结果页)。

Semantic-Aware Image Compressed Sensing

2023 · 2023 IEEE 33rd International Workshop on Machine Learning for Signal Processing (MLSP) · 联合信源信道编码(JSCC)与语义信源编码

作者:Bowen Zhang; Zhijin Qin; Geoffrey Ye Li

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.3
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:论文开发了题目中描述的方法:语义感知图像压缩感知。 PDF p.1 PDF p.3
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,该论文发展了语义感知图像压缩传感。其具体设计总结如下:论文发展了题目所述的方法:语义感知图像压缩感知。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,论文开发了题目中描述的方法:语义感知图像压缩感知。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:从图中看,SemBCS 的性能仍稳步提升于 FixBCS,表明所提 semnaticaware 操作在不同数据集上的通用性。 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了题目所述的方法:语义感知图像压缩感知。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源是输入图像。 PDF p.1

发送端:发送者应用论文的语义/信源信道编码器:论文开发了标题所述的方法:语义感知图像压缩感知。 PDF p.1

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1

输出:最终输出是重建或生成的图像。 PDF p.1

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1

实验设置与主要结论

数据集:COCO

Baseline:论文未在结构化字段中明确列出

指标:PSNR、accuracy、BER

信道:信道接口报告不足或由传统链路抽象承担

实验使用COCO;与论文中标明的参考系统进行比较;用PSNR评估准确率、BER;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1

从图中看,SemBCS的性能仍稳步提升,显示出所提语义感知操作在不同数据集上的通用性。 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Semantic-Aware Image Compressed Sensing 架构/方法页
Semantic-Aware Image Compressed Sensing,原 PDF 第 2 页(架构/方法页)。
Semantic-Aware Image Compressed Sensing 关键结果页
Semantic-Aware Image Compressed Sensing,原 PDF 第 4 页(关键结果页)。

Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs

2023 · · 任务导向联合信源信道设计

作者:Shiqi Sun; Zhijin Qin; Huiqiang Xie; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文发表之前,相关研究已确立语义通信被视为下一代通信系统缓解频谱资源短缺和网络拥堵的有前景解决方案。 PDF p.1
  2. 仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1 PDF p.2 PDF p.5
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,早期的流程缺少本文随后引入的论文专用机制:具体来说,我们首先设计了一个基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。 PDF p.1 PDF p.2 PDF p.5
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文基于结构化场景图开发了面向任务的可解释语义通信。其具体设计总结如下:本研究提出基于场景图的新颖任务导向语义通信框架,名为DeepSC-SG。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,我们首先设计了一个基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,与传统通信系统相比,DeepSC-SG对信道变化具有相当的鲁棒性,传统通信系统在实现下游智能任务如图像检索方面具有巨大潜力,且传输数据体积显著缩小。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是任务导向推理的端到端通信链路。在本研究中,我们提出了一种基于场景图的新颖任务导向语义通信框架,名为DeepSC-SG。具体来说,我们首先设计了一个基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源数据是源数据以及一个下游任务。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:具体来说,我们首先设计了基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4 PDF p.5

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.6

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.6

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4 PDF p.5

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4 PDF p.5

实验设置与主要结论

数据集:Flickr30k、VQA

Baseline:JPEG、LDPC、BERT、DeepSC

指标:accuracy

信道:AWGN、Rayleigh、Rician、QAM

实验使用Flickr30k、VQA;与JPEG、LDPC、BERT、DeepSC进行比较;准确评估;并使用AWGN、Rayleigh、Rician、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4 PDF p.5

模拟结果表明,所提议的DeepSC-SG对信道变化具有相当的鲁棒性,相比传统通信系统,传统通信系统在实现下游智能任务如图像检索方面具有巨大潜力,且传输数据体积显著缩小。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs 架构/方法页
Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs,原 PDF 第 2 页(架构/方法页)。
Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs 关键结果页
Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs,原 PDF 第 4 页(关键结果页)。

Task-Oriented Semantic Communications for Speech Transmission

2023 · · 任务导向联合信源信道设计

作者:Zhenzi Weng; Zhijin Qin; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立语义通信仅通过传输必要信息在接收端执行智能任务。 PDF p.1 PDF p.2
  2. 仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺乏本文随后引入的论文专用机制:特别是,Xie 等人[4] 对 DL 支持的语义通信进行了开创性研究,并提出了一种名为 DeepSC 的新型语义编码器,用于实现文本传输所需的语义特征。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了语音传输的任务导向语义通信。其具体设计总结如下:本文介绍了TOS-ST,一种面向任务的语音传输语义通信系统,高效地服务接收端的语义任务,包括语音转文本和语音转语音翻译。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,特别是,Xie等人[4]对DL支持的语义通信进行了开创性研究,并提出了一种名为DeepSC的新型语义编码器,用于实现文本传输的语义特征。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,TOS-ST的性能优于传统语音传输系统,并且在对信道干扰方面表现出更高的鲁棒性。 PDF p.2 PDF p.4 PDF p.5

系统怎么工作

该系统是语音/音频传输或识别的端到端通信链路。本文介绍了TOS-ST,一种面向任务的语音传输语义通信系统,高效地服务接收端的语义任务,包括语音转文本和语音转语音翻译。特别是,Xie 等人[4]对DL支持的语义通信进行了开创性研究,并引入了一种名为DeepSC的新型语义编码器,用于实现文本传输的语义特征。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:信号来源是语音或音频。 PDF p.1 PDF p.2

发送端:发送方应用了论文的语义/信源信道编码器:特别是,Xie 等人[4] 对 DL 支持的语义通信进行了开创性研究,并引入了一种名为 DeepSC 的新型语义编码器,用于实现文本传输的语义特征。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是语音波形、文本转录或识别结果。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:语音/音频传输或识别

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:LibriSpeech

Baseline:DeepSC

指标:BLEU、accuracy、latency、BER

信道:AWGN、Rayleigh、fading channel

实验使用LibriSpeech;与DeepSC比较;用BLEU、准确率、延迟、BER(标准化标准)评估;并使用AWGN、Rayleigh、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

根据模拟结果,TOS-ST的性能优于传统语音传输系统,并且对信道受损具有更高的鲁棒性。 PDF p.2 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Task-Oriented Semantic Communications for Speech Transmission 架构/方法页
Task-Oriented Semantic Communications for Speech Transmission,原 PDF 第 2 页(架构/方法页)。
Task-Oriented Semantic Communications for Speech Transmission 关键结果页
Task-Oriented Semantic Communications for Speech Transmission,原 PDF 第 5 页(关键结果页)。

A GAN-Based Semantic Communication for Text Without CSI

2024 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Jin Mao; Ke Xiong; Ming Liu; Zhijin Qin; Wei Chen; Pingyi Fan; Khaled B. Letaief

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在这篇论文之前,相关研究已经证明,近年来,语义通信(SC)被视为6G最具潜力的范式之一。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留通用语义通信系统目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.8
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺乏本文随后引入的论文特有机制:BLEU通过两种训练方案对拟议框架的信噪比进行评分。但信道均衡不支持CSI的例外。• Conventional-w-CSI(Huffman-CC):我们通过计算字符频率作为源编码的字典来构建Huffman码本,信道编码与Fixed-CC相同。 PDF p.1 PDF p.2 PDF p.8
  4. 为什么这个问题值得研究:这个问题很重要,因为语义质量必须在信道使用、功耗和延迟等真实预算下实现;否则,表面上的机器学习增益可能无法转化为通信系统的增益。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了一种基于GAN的无CSI文本语义通信。其具体设计总结如下:本文发展了标题所述的方法:基于GAN的文本语义通信,无需CSI。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果关系在于,BLEU通过两种培训方案对拟议框架的信噪比进行评分。但信道均衡不支持CSI的例外。• Conventional-w-CSI(Huffman-CC):我们通过计算字符频率作为源编码的字典来构建Huffman码本,信道编码与Fixed-CC相同。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:没有CSI时,Ti-GSC所获得的BLEU分数分别比现有SC框架在Rician和Rayleigh中分别高出40%和62%。 PDF p.8 PDF p.9

系统怎么工作

该系统是通用语义通信系统的端到端通信链路。论文发展了题目所述的方法:基于GAN的文本语义通信,无需CSI。BLEU通过两种培训方案对拟议框架的信噪比进行评分。但信道均衡不支持CSI的例外。• Conventional-w-CSI(Huffman-CC):我们通过计算字符频率作为源编码的字典来构建Huffman码本,信道编码与Fixed-CC相同。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.5

输入:源是源数据和通信任务。 PDF p.1 PDF p.2 PDF p.5

发送端:发送方应用论文的语义/信源信道编码器:BLEU通过两种训练方案对拟议框架的信噪比进行评分。但信道均衡不支持CSI的例外。• Conventional-w-CSI(Huffman-CC):我们通过计算字符频率作为源编码的字典来构建Huffman码本,信道编码与Fixed-CC相同。 PDF p.1 PDF p.2 PDF p.5

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.5

输出:最终输出是重建的内容或任务输出。 PDF p.1 PDF p.2 PDF p.5

它在通信系统的哪个位置

研究任务:通用语义通信系统

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.8 PDF p.13

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.8 PDF p.13

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的内容或任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:Europarl

Baseline:BPG、BERT

指标:BLEU、accuracy、semantic similarity、SER、CLIP

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、OFDM、QAM

这些实验使用Europarl;与BPG、BERT比较;用BLEU、准确性、语义相似度、SER、CLIP等方法进行评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

如果没有CSI,Ti-GSC在Rician和Rayleigh衰落方面,Ti-GSC所获得的BLEU分数分别比现有SC框架高出约40%和62%。 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A GAN-Based Semantic Communication for Text Without CSI 架构/方法页
A GAN-Based Semantic Communication for Text Without CSI,原 PDF 第 2 页(架构/方法页)。
A GAN-Based Semantic Communication for Text Without CSI 关键结果页
A GAN-Based Semantic Communication for Text Without CSI,原 PDF 第 8 页(关键结果页)。

A Robust Semantic Communication System for Image Transmission

2024 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Xiang Peng; Zhijin Qin; Xiaoming Tao; Jianhua Lu; Khaled B. Letaief

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已证明语义通信作为解决传输瓶颈的有前景方法,尤其是在6G技术持续发展的背景下,已获得广泛关注。 PDF p.1 PDF p.2
  2. 仍然存在的问题:通过拥抱这一创新优化目标,语义通信能够有效减少传输的数据量,从而成功缓解通信网络中快速数据增长带来的挑战[2]。 PDF p.1 PDF p.5
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:语义通信作为解决传输瓶颈的有前景方法而备受关注,尤其是在6G技术持续发展的背景下。 PDF p.1 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了《图像传输的稳健语义通信系统》。其具体设计总结如下:具体来说,我们提出了一种新颖的语义障碍强度指标,并开发语义障碍数据集。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果关系在于,语义通信作为解决传输瓶颈的有前景方法而受到广泛关注,尤其是在6G技术持续发展的背景下。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,在不同语义障碍强度下,DeepSC-RI表现更优。 PDF p.4 PDF p.5 PDF p.6

系统怎么工作

该系统是图像传输或生成的端到端通信链路。具体来说,我们提出了一种新的指标来量化语义障碍的强度,并开发了语义障碍数据集。语义通信作为解决传输瓶颈的有前景方法而备受关注,尤其是在6G技术持续发展的背景下。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文中的语义/信源信道编码器:语义通信作为解决传输瓶颈的有前景方法,尤其随着6G技术的持续发展,这一方法备受关注。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.6

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.6

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:BPG、LDPC、DeepSC

指标:PSNR、LPIPS、accuracy

信道:AWGN、Rician、QAM

实验使用论文中所述的源/任务数据集;与BPG、LDPC、DeepSC比较;评估PSNR、LPIPS的准确性;并使用AWGN、Rician、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.4

实验结果显示,在不同语义障碍强度下,DeepSC-RI表现更优。 PDF p.4 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A Robust Semantic Communication System for Image Transmission 架构/方法页
A Robust Semantic Communication System for Image Transmission,原 PDF 第 2 页(架构/方法页)。
A Robust Semantic Communication System for Image Transmission 关键结果页
A Robust Semantic Communication System for Image Transmission,原 PDF 第 4 页(关键结果页)。

A Robust Semantic Text Communication System

2024 · IEEE Transactions on Wireless Communications · 任务导向联合信源信道设计

作者:Xiang Peng; Zhijin Qin; Xiaoming Tao; Jianhua Lü; Lajos Hanzo

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立语义通信日益被视为提升传输效率的有前景解决方案。 PDF p.1
  2. 仍然存在的问题:语义通信不仅容易受到物理信道障碍的影响,还容易受到语义障碍的影响,这会降低接收端的语义理解并干扰相关的下游任务。 PDF p.1 PDF p.9
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺乏本文随后引入的论文特有机制:因此,我们将重点放在语义通信对语义障碍的鲁棒性上。 PDF p.1 PDF p.9
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了《稳健语义文本通信系统》。其具体设计总结如下:随后,我们提出一个稳健的深度学习支持语义通信系统(R-DeepSC),通过引入一个用于稳健语义编码的语义校正器,以促进语义传输。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,因此我们关注语义通信对语义障碍的鲁棒性。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.3 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们的实验结果表明,所提出的R-DeepSC和NA-RDeepSC架构在消除语义障碍方面具有更优异的鲁棒性,因此凸显了本研究在推动稳健语义通信发展中的重要性。 PDF p.5 PDF p.6 PDF p.9

系统怎么工作

该系统是任务导向推理的端到端通信链路。随后,我们提出了一个稳健的深度学习赋能语义通信系统(R-DeepSC),通过引入一个用于强健语义编码的语义校正器,以促进语义传递。因此,我们关注语义通信对语义障碍的鲁棒性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.3 PDF p.5

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.3 PDF p.5

发送端:发送者应用论文的语义/信源信道编码器:因此,我们关注语义通信对语义障碍的稳健性。 PDF p.1 PDF p.3 PDF p.5

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.3 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.3 PDF p.4

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.3 PDF p.5

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.3 PDF p.5

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.8

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.8

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3 PDF p.4

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3 PDF p.4

实验设置与主要结论

数据集:Europarl、LibriSpeech

Baseline:LDPC、BERT、DeepSC

指标:BLEU、BERTScore、accuracy、semantic similarity

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、OFDM、QAM

实验中使用了Europarl、LibriSpeech;与LDPC、BERT、DeepSC比较;用BLEU、BERTScore、准确性、语义相似性进行评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.3 PDF p.4

我们的实验结果表明,所提出的R-DeepSC和NA-RDeepSC架构在消除语义障碍方面具有更优越的鲁棒性,因此凸显了本研究在推动稳健语义通信发展中的重要性。 PDF p.5 PDF p.6 PDF p.9

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A Robust Semantic Text Communication System 架构/方法页
A Robust Semantic Text Communication System,原 PDF 第 2 页(架构/方法页)。
A Robust Semantic Text Communication System 关键结果页
A Robust Semantic Text Communication System,原 PDF 第 12 页(关键结果页)。

A Unified Multi-Task Semantic Communication System for Multimodal Data

2024 · IEEE Transactions on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Guangyi Zhang; Qiyu Hu; Zhijin Qin; Yunlong Cai; Guanding Yu; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已证明任务导向语义通信已实现显著的性能提升。 PDF p.1 PDF p.2
  2. 仍然存在的问题:语义通信中使用的深度神经网络在任务变更时必须更新,或者需要存储多个模型以执行不同任务。 PDF p.1 PDF p.3 PDF p.12
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺少了本文随后引入的论文特有机制:为了减少传输开销,我们设计了一个统一的特征代码本,以服务多个任务,只传输代码本中这些任务特定特征的索引。 PDF p.1 PDF p.3 PDF p.12
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了《多模态数据的统一多任务语义通信系统》。其具体设计总结如下:为解决这一问题,我们开发了一个统一的深度学习赋能语义通信系统(U-DeepSC),一个统一的端到端框架能够以多种数据模式服务多种任务。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,为了减少传输开销,我们设计了一个统一的特征代码手册,以服务多个任务,只传输代码本中这些任务特定特征的索引。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,拟议的U-DeepSC实现了与针对特定任务设计的面向任务语义通信系统相当的性能,同时显著降低了传输开销和模型规模。 PDF p.6 PDF p.7 PDF p.8

系统怎么工作

该系统是图像传输或生成的端到端通信链路。为解决这一问题,我们开发了一个统一的深度学习赋能语义通信系统(U-DeepSC),一个统一的端到端框架能够以多种数据模式服务多种任务。为了降低传输开销,我们设计了一个统一的特征代码本,以服务多项任务,仅传输代码本中这些任务特定特征的索引。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:为减少传输开销,我们设计了一个统一的特征代码手册,以服务多项任务,且仅传输代码本中这些任务特定特征的索引。 PDF p.1 PDF p.2

实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.3 PDF p.4 PDF p.7

接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:显式数字语义表示:bit、离散 token 或码本 index

发送端发送量化比特、离散令牌或码本 index,而非无约束的连续潜在信号。这被归类为:显式数字语义表示:bit、离散 token 或码本 index。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:离散变量经数字链路传输;需检查残余 bit/index error

在拟议的传输路径中,信道处理方式如下:离散变量经数字链路传输;需检查残余位/索引误差。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.4 PDF p.7

接收端实际上是从解码后的比特/索引或其噪声/软估计开始,随后进行语义量化和重建。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.4 PDF p.7

实验设置与主要结论

数据集:CIFAR-10、SST-2

Baseline:DeepJSCC、JPEG、LDPC、Turbo、H.264、BERT、DeepSC

指标:PSNR、BLEU、accuracy、latency

信道:AWGN、Rayleigh、fading channel、OFDM

实验使用CIFAR-10、SST-2;可与DeepJSC、JPEG、LDPC、Turbo、H.264、BERT、DeepSC进行比较;用PSNR、BLEU、准确性、延迟评估;并使用AWGN、Rayleigh、衰落信道、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3 PDF p.4 PDF p.7

根据模拟结果,拟议的U-DeepSC实现了与为特定任务设计的面向任务语义通信系统相当的性能,同时显著降低了传输开销和模型规模。 PDF p.6 PDF p.7 PDF p.8

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A Unified Multi-Task Semantic Communication System for Multimodal Data 架构/方法页
A Unified Multi-Task Semantic Communication System for Multimodal Data,原 PDF 第 3 页(架构/方法页)。
A Unified Multi-Task Semantic Communication System for Multimodal Data 关键结果页
A Unified Multi-Task Semantic Communication System for Multimodal Data,原 PDF 第 11 页(关键结果页)。

Adaptive Resource Allocation for Semantic Communication Networks

2024 · IEEE Transactions on Communications · 资源分配与跨层优化

作者:Lingyi Wang; Wei Wu; Fuhui Zhou; Zhaohui Yang; Zhijin Qin; Qihui Wu

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已明确指出,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:在有限的频谱资源下有效处理超大规模连接并实现智能应用,是第六代(6G)无线通信系统开发的重大挑战[2]、[3]。 PDF p.1 PDF p.11
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺少了本文随后引入的论文特有机制:具体来说,SBQ是一种混合的统一-非统一量化方法,旨在促进语义与位之间的编码。 PDF p.1 PDF p.11
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文提出了语义通信网络的自适应资源分配。其具体设计总结如下:本文提出一种具语义比量化(SBQ)的自适应语义资源分配范式,兼容现有无线通信,解决语义度量与传输度量之间额外映射关系带来的环境感知不准确问题。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:其因果联系在于,具体来说,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:与基于映射的范式资源分配方案相比,我们提出的自适应方案在SC-QoS方面可实现高达13%的性能提升。 PDF p.6 PDF p.10 PDF p.11

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。本文提出一种具有语义比量化(SBQ)的自适应语义资源分配范式,兼容现有无线通信,解决语义度量与传输度量之间额外映射关系带来的环境感知不准确问题。具体来说,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:具体来说,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.2 PDF p.10

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.10

接收端实际上是从系统模型中假设的接收机模型出发的。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.10

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:BERT、DeepSC

指标:accuracy、semantic similarity、latency、throughput、BER

信道:Rician、OFDM、QAM

实验使用论文中所述的源/任务数据集;与BERT、DeepSC比较;以准确性、语义相似性、延迟、吞吐量、BER(质量分析率)来评估;并使用Rician、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.10

与基于映射的范式资源分配方案相比,我们提出的自适应方案在SC-QoS方面可实现高达13%的性能提升。 PDF p.6 PDF p.10 PDF p.11

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

Adaptive Resource Allocation for Semantic Communication Networks 架构/方法页
Adaptive Resource Allocation for Semantic Communication Networks,原 PDF 第 3 页(架构/方法页)。
Adaptive Resource Allocation for Semantic Communication Networks 关键结果页
Adaptive Resource Allocation for Semantic Communication Networks,原 PDF 第 9 页(关键结果页)。

Compression Ratio Learning and Semantic Communications for Video Imaging

2024 · IEEE Journal of Selected Topics in Signal Processing · 联合信源信道编码(JSCC)与语义信源编码

作者:Bowen Zhang; Zhijin Qin; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已经确立了提升移动机器人在有限电力、内存和带宽资源下的数据采集和传输效率至关重要。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:对于电力、内存和带宽资源有限的移动机器人,提升数据采集和传输效率至关重要。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文专用机制:编码器中的特征映射依次通过一个按谱方向的注意力块(SAB)、一个步幅为2的变异(用于下采样)、一个SAB和一个步幅为2的变异。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,论文提出了视频成像的压缩比学习与语义通信。其具体设计总结如下:论文开发了题目所述的方法:视频成像的压缩比学习与语义通信。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果联系在于编码器中的特征映射依次经过一个按谱的注意力块(SAB)、一个步幅为2的变动(用于下采样)、一个SAB和一个步幅为2的变换。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果显示所提方法优于现有基线。 PDF p.8 PDF p.9 PDF p.11

系统怎么工作

该系统是视频传输或生成的端到端通信链路。论文发展了题为《视频成像的压缩比学习与语义通信》所描述的方法。编码器中的特征映射依次经过一个按谱方向的注意力块(SAB)、一个步幅为2的变形(用于下采样)、一个SAB和一个步幅为2的变形。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:其来源是视频帧或视频语义。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:编码器中的特征映射依次通过一个按谱方向的注意力块(SAB)、一个步幅为2的变异(用于下采样)、一个SAB和一个步幅为2的变异。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.6 PDF p.7

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的视频。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:视频传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.6 PDF p.7

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.6 PDF p.7

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:BPG、JPEG、LDPC、Polar、H.264

指标:PSNR、accuracy

信道:AWGN、QAM

实验使用论文中所述的源/任务数据集;与BPG、JPEG、LDPC、Polar、H.264比较;用PSNR评估准确性;并使用AWGN、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.6 PDF p.7

数值结果显示,所提方法优于现有基线。 PDF p.8 PDF p.9 PDF p.11

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Compression Ratio Learning and Semantic Communications for Video Imaging 架构/方法页
Compression Ratio Learning and Semantic Communications for Video Imaging,原 PDF 第 2 页(架构/方法页)。
Compression Ratio Learning and Semantic Communications for Video Imaging 关键结果页
Compression Ratio Learning and Semantic Communications for Video Imaging,原 PDF 第 9 页(关键结果页)。

Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative Networks

2024 · IEEE Journal of Selected Topics in Signal Processing · 资源分配与跨层优化

作者:Zelin Ji; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已经证明大规模连接的趋势推动了终端设备的爆炸性增长。 PDF p.2 PDF p.5
  2. 仍然存在的问题:现有方案通常通过比特率或平均失真来固定或优化无线资源,但未反映用户和样本在任务层面的语义值差异。 PDF p.1 PDF p.3 PDF p.7
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏本文随后引入的论文专用机制:各种应用的出现促使了对普遍连接性和更高效计算范式的需求。 PDF p.1 PDF p.3 PDF p.7
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.2 PDF p.5
  5. 本文怎样顺着问题提出方案:因此,本文在语义感知云端协作网络中发展了计算卸载。其具体设计总结如下:本文发展了题目所述的方法:语义感知云端协作网络中的计算卸载。 PDF p.2 PDF p.5
  6. 方案为什么有可能起作用:其因果关系在于,各种应用的出现促使了对普及连接性和更高效计算范式的需求。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.2 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果表明,所提出的DRLH框架在稳定所有队列的同时,在能耗方面实现了近乎最佳的性能。 PDF p.10

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。论文发展了题目所描述的方法:语义感知云端协作网络中的计算卸载。各种应用的出现促使人们对无处不在的连接性和更高效的计算范式的需求。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.5

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.2 PDF p.5

发送端:发送者应用论文的语义/信源信道编码器:各种应用的出现促使了对普及连接性和更高效计算范式的需求。 PDF p.1 PDF p.2 PDF p.5

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.2 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.5

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.5

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.2 PDF p.5

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.5

接收端实际上是从系统模型中假设的接收机模型出发的。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.5

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepSC

指标:accuracy、latency

信道:Rayleigh、Rician

实验使用论文中所述的源/任务数据集;与DeepSC比较;准确评估,延迟;并使用雷利,里西安。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.5

数值结果表明,所提DRLH框架在稳定所有队列的同时,在能耗方面实现了近乎最优的表现。 PDF p.10

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative Networks 架构/方法页
Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative Networks,原 PDF 第 3 页(架构/方法页)。
Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative Networks 关键结果页
Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative Networks,原 PDF 第 9 页(关键结果页)。

Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression

2024 · 2024 IEEE 34th International Workshop on Machine Learning for Signal Processing (MLSP) · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhihang Chu; Changyue Chen; Wei Chen; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明Learned联合信源信道编码在匹配训练和测试条件下,已相较于固定分离的管道实现端到端优势。 PDF p.1 PDF p.2
  2. 仍然存在的问题:为单一带宽或信道条件训练的语义编码器具有固定表示,且在工作点变化时无法重新分配速率和保护。 PDF p.1 PDF p.2 PDF p.6
  3. 为什么已有方法解决不了:为单一带宽、信噪比或信道分布训练的模型具有固定的瓶颈和保护模式。当操作条件发生变化时,使用相同表示法进行重复推断无法为变得脆弱的信息重新分配速率或冗余。更具体地说,已有链路缺乏本文随后引入的论文特有机制:近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。 PDF p.1 PDF p.2 PDF p.6
  4. 为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了基于深度学习的CTU拆分和动态GOP调整,以实现语义感知视频压缩。其具体设计总结如下:论文开发了题目所述的方法:基于深度学习的CTU拆分与语义感知视频压缩的动态GOP调整。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果关系在于,近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。表示或保护模式可以随着操作条件变化而变化,而非训练后保持固定。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:此外,如果视频中的场景长时间保持相对静止,会插入一对性能提升不大的I帧,这实际上会影响压缩效率。 PDF p.3 PDF p.5 PDF p.6

系统怎么工作

该系统是视频传输或生成的端到端通信链路。该论文发展了题目所述的方法:基于深度学习的CTU拆分与动态GOP调整以实现语义感知视频压缩。近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:其来源是视频帧或视频语义。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2 PDF p.3

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的视频。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:视频传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:H.264、H.265

指标:PSNR、accuracy、latency

信道:信道接口报告不足或由传统链路抽象承担

实验使用论文中所述的源/任务数据集;与H.264、H.265比较;用PSNR评估准确性、延迟;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

此外,如果视频中的场景长时间保持相对静止,会插入一对性能提升不大的I帧,这实际上会影响压缩效率。 PDF p.3 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:适配只在有限的带宽/信道范围内验证;控制信令、在线稳定性及超出训练范围后的外推仍不确定。

Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression 架构/方法页
Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression,原 PDF 第 2 页(架构/方法页)。
Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression 关键结果页
Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression,原 PDF 第 6 页(关键结果页)。

IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation

2024 · IEEE Transactions on Wireless Communications · 通信安全与隐私

作者:Lingyi Wang; Wei Wu; Fuhui Zhou; Zhijin Qin; Qihui Wu

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立,学习任务导向语义通信在优化传输效率方面起着关键作用,通过提取和传达针对特定任务(如图像重建和分类)量身定制的关键语义。 PDF p.2 PDF p.5
  2. 仍然存在的问题:由于无线通信的开放性质,窃听的挑战对语义隐私构成了巨大威胁。 PDF p.1 PDF p.2 PDF p.4
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺乏后来引入的论文特有机制:具体来说,利用多层码本离散化连续语义特征,并描述不同位数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。 PDF p.1 PDF p.2 PDF p.4
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.2 PDF p.5
  5. 本文怎样顺着问题提出方案:因此,本文发展了《IRS增强安全语义通信网络:跨层与上下文防护资源分配》。其具体设计总结如下:为实现人工智能(AI)原生的安全通信,我们提出基于噪声干扰增强的混合深度强化学习(NdeHDRL)资源分配方案。 PDF p.2 PDF p.5
  6. 方案为什么有可能起作用:其因果联系在于,具体来说,多层码本被用来离散化连续语义特征,并描述不同位数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,我们提出的方案在提升安全性能和S-SSE方面,相较于多个基准方案,具有效率。 PDF p.18 PDF p.19 PDF p.20

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。为实现人工智能(AI)原生安全通信,我们提出了一种基于噪声干扰增强的混合深度强化学习(NdeHDRL)资源分配方案。具体来说,多层码本被用来离散连续语义特征,并描述不同比特数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:具体来说,利用多层码本离散化连续语义特征,并描述不同位数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.9 PDF p.21 PDF p.25

接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:显式数字语义表示:bit、离散 token 或码本 index

发送端发送量化比特、离散令牌或码本 index,而非无约束的连续潜在信号。这被归类为:显式数字语义表示:bit、离散 token 或码本 index。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.5 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.5 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:离散变量经数字链路传输;需检查残余 bit/index error

在拟议的传输路径中,信道处理方式如下:离散变量经数字链路传输;需检查残余位/索引误差。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.9 PDF p.21 PDF p.25

接收端实际上是从解码后的比特/索引或其噪声/软估计开始,随后进行语义量化和重建。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.9 PDF p.21 PDF p.25

实验设置与主要结论

数据集:ImageNet

Baseline:BPG、JPEG2000、Turbo

指标:SSIM、MS-SSIM、LPIPS、accuracy、semantic similarity、latency

信道:AWGN、Rayleigh、Rician、MIMO、OFDM、QAM

实验使用ImageNet;与BPG、JPEG2000、Turbo相比;用SSIM、MS-SSIM、LPIPS、准确性、语义相似性、延迟来评估;并使用AWGN、Rayleigh、Rician、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.9 PDF p.21 PDF p.25

模拟结果显示,我们提出的方案在提升安全性能和S-SSE方面,相较于多个基准方案,表现出显著的效率。 PDF p.18 PDF p.19 PDF p.20

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation 架构/方法页
IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation,原 PDF 第 6 页(架构/方法页)。
IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation 关键结果页
IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation,原 PDF 第 20 页(关键结果页)。

QoE-Based Semantic-Aware Resource Allocation for Multi-Task Networks

2024 · IEEE Transactions on Wireless Communications · 资源分配与跨层优化

作者:Lei Yan; Zhijin Qin; Chunfeng Li; Rui Zhang; Yongzhao Li; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已证明,仅通过传输任务相关信息,语义通信相较传统通信带来显著的性能提升。 PDF p.1 PDF p.2 PDF p.4
  2. 仍然存在的问题:缺乏成熟的语义信息量化和性能评估的语义理论,使得在语义通信中执行资源分配具有挑战性,尤其是在网络中多个任务共存时。 PDF p.1 PDF p.7 PDF p.10
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏本文随后引入的论文专用机制:然后,我们开发了一个新的QoE模型,用语义压缩、信道分配和发射功率来表述语义感知资源分配。 PDF p.1 PDF p.7 PDF p.10
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.1 PDF p.2 PDF p.4
  5. 本文怎样顺着问题提出方案:因此,本文开发了基于QoE的多任务网络语义感知资源分配。其具体设计总结如下:为应对这一挑战,本文提出了一种基于体验质量(QoE)的语义感知资源分配方法,用于多任务网络。 PDF p.1 PDF p.2 PDF p.4
  6. 方案为什么有可能起作用:因果联系在于,我们开发了一个新的QoE模型,用语义感知资源分配,涵盖语义压缩、信道分配和发射功率。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:两种通信技术用户对资源分配的需求不同,因此实现语义感知资源分配“兼容性”的第一步是在同一层次评估这两种通信技术。 PDF p.6 PDF p.8 PDF p.10

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。为应对这一挑战,本文提出了一种基于体验质量(QoE)的语义感知资源分配方法,应用于多任务网络。随后,我们开发了一个新的QoE模型,以语义压缩、信道分配和发射功率来制定语义感知资源分配。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:然后,我们开发了一个新的QoE模型,以语义压缩、信道分配和发射功率来表述语义感知资源的分配。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.9

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.6 PDF p.9

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.6 PDF p.9

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.9

接收端实际上是从系统模型中假设的接收机模型出发的。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.9

实验设置与主要结论

数据集:VQA

Baseline:DeepSC

指标:accuracy、semantic similarity、throughput

信道:Rayleigh、MIMO

实验中使用VQA;与DeepSC比较;准确性、语义相似度和吞吐量评估;并使用雷利,MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.9

使用两种通信技术的用户对资源分配的需求不同,因此实现语义感知资源分配“兼容性”的第一步是在同一层次评估这两种通信技术。 PDF p.6 PDF p.8 PDF p.10

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

QoE-Based Semantic-Aware Resource Allocation for Multi-Task Networks 架构/方法页
QoE-Based Semantic-Aware Resource Allocation for Multi-Task Networks,原 PDF 第 3 页(架构/方法页)。
QoE-Based Semantic-Aware Resource Allocation for Multi-Task Networks 关键结果页
QoE-Based Semantic-Aware Resource Allocation for Multi-Task Networks,原 PDF 第 9 页(关键结果页)。

Resource Optimization for Semantic-Aware Networks With Task Offloading

2024 · IEEE Transactions on Wireless Communications · 资源分配与跨层优化

作者:Zelin Ji; Zhijin Qin; Xiaoming Tao; Zhu Han

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明语义编码器和面向任务链路建立了速率-质量曲线,使得优化无线电和计算资源以对任务效用进行优化成为可能。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:上行信道带宽有限,可能会增加任务传输延迟,并影响计算卸载性能。 PDF p.1 PDF p.8
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺少本文随后引入的论文特有机制:注意联合语义与信道(JSC)编码器及JSC译码器也实现了将提取的语义特征映射到物理信道可传输的复杂信号。 PDF p.1 PDF p.8
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文开发了带有任务卸载的语义感知网络资源优化。其具体设计总结如下:论文开发了题目所述的方法:《带任务卸载的语义感知网络资源优化》。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果联系是 注意,联合语义与信道(JSC)编码器和JSC译码器也被实现为将提取的语义特征映射到物理信道可传输的复杂信号。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:实际上,对于彼此差异较小的近端政策,应考虑以往经验以提升培训效率。 PDF p.6 PDF p.7 PDF p.8

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。论文发展了题为《带任务卸载的语义感知网络资源优化》的方法。请注意,联合语义和信道(JSC)编码器和JSC译码器也被实现为将提取的语义特征映射到物理信道可传输的复杂信号。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文中的语义/信源信道编码器:注意,联合语义与信道(JSC)编码器和JSC译码器也被实现为将提取的语义特征映射到物理信道可传输的复杂信号。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.4 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.4 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上是从系统模型中假设的接收机模型出发的。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:VQA

Baseline:DeepJSCC、BERT、DeepSC

指标:BLEU、accuracy、latency、CLIP

信道:OFDM

实验中使用VQA;与DeepJSCC、BERT、DeepSC比较;用BLEU、准确性、延迟、CLIP来评估;并使用OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

实际上,对于彼此略有差异的近端政策,应考虑以往经验以提升培训效率。 PDF p.6 PDF p.7 PDF p.8

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

Resource Optimization for Semantic-Aware Networks With Task Offloading 架构/方法页
Resource Optimization for Semantic-Aware Networks With Task Offloading,原 PDF 第 2 页(架构/方法页)。
Resource Optimization for Semantic-Aware Networks With Task Offloading 关键结果页
Resource Optimization for Semantic-Aware Networks With Task Offloading,原 PDF 第 7 页(关键结果页)。

Robust Semantic-Aware Neural Video Compression

2024 · 2024 IEEE Globecom Workshops (GC Wkshps) · 联合信源信道编码(JSCC)与语义信源编码

作者:Hao Cao; Jiangkai Ying; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留视频传输或生成目标所需的语义内容。 PDF p.1 PDF p.4 PDF p.5
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺少本文随后引入的论文特有机制:随后进行三次下采样操作以缩小特征图大小,进一步增加信道数量以获得高层特征,并扩展模型的感受野。 PDF p.1 PDF p.4 PDF p.5
  4. 为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了强健语义感知神经视频压缩。其具体设计总结如下:论文开发了其标题所描述的方法:强健语义感知神经视频压缩。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系是:随后进行三次下采样操作以缩小特征图大小,进一步增加信道数量以获得高层特征并扩展模型的感受野。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:这有效实现了无传输背景i帧,从而消除了这些部分相应的比特消耗。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是视频传输或生成的端到端通信链路。论文发展了题为《强健语义感知神经视频压缩》的方法。随后进行三次降采样操作以缩小特征图大小,进一步增加信道数量以获得高层特征,并扩展模型的感受野。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:其来源是视频帧或视频语义。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:随后进行三次降采样操作以减少特征图大小,进一步增加信道数量以获得高层特征并扩展模型的感受场。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.4

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的视频。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:视频传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.4

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:JPEG2000、H.264、H.265

指标:PSNR、SSIM、MS-SSIM、accuracy、latency

信道:信道接口报告不足或由传统链路抽象承担

实验使用论文中所述的源/任务数据集;与JPEG2000、H.264、H.265比较;用PSNR、SSIM、MS-SSIM、精度、延迟进行评估;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.4

这有效实现了无传输背景i帧,从而消除了这些部分相应的比特消耗。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Robust Semantic-Aware Neural Video Compression 架构/方法页
Robust Semantic-Aware Neural Video Compression,原 PDF 第 2 页(架构/方法页)。
Robust Semantic-Aware Neural Video Compression 关键结果页
Robust Semantic-Aware Neural Video Compression,原 PDF 第 4 页(关键结果页)。

Semantic MIMO Systems for Speech-to-Text Transmission

2024 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhenzi Weng; Zhijin Qin; Huiqiang Xie; Xiaoming Tao; Khaled B. Letaief

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已证明语义通信已被用于执行许多智能任务,通过传输任务相关的语义信息而非比特。 PDF p.1 PDF p.2
  2. 仍然存在的问题:由于缺乏统一理论来表示不同来源的语义,以及用数学公式量化语义信息,语义通信的研究经历了数十年的停滞。 PDF p.1 PDF p.7
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:Wu等人[35]提出了一种基于视觉变换器的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现MIMO信道图像传输。 PDF p.1 PDF p.7
  4. 为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了用于语音转文本传输的语义MIMO系统。其具体设计总结如下:本文提出了一种针对单用户多输入多输出(MIMO)和多用户MIMO通信场景的语义感知语音转文本传输系统,称为SAC-ST。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,Wu 等人[35]提出了一种基于视觉变换器(Vision Transformer)的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现图像在 MIMO 信道上的传输。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果将表明,所提出的SAC-ST在语音转文本传输MIMO信道上的语义感知网络通信框架上,尤其是在低信噪比范围内,表现优于无语义感知网络的语音转文本传输。 PDF p.5 PDF p.7 PDF p.9

系统怎么工作

该系统是语音/音频传输或识别的端到端通信链路。本文提出了一种适用于单用户多输入多输出(MIMO)和多用户MIMO通信场景的语义感知语音转文本传输系统,名为SAC-ST。Wu 等人[35]提出了一种基于视觉变换器的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现通过MIMO信道传输图像。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:信号来源是语音或音频。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用了论文中的语义/信源信道编码器:Wu等人[35]提出了一种基于视觉变换器的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现通过MIMO信道传输图像。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.5 PDF p.8 PDF p.9

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是语音波形、文本转录或识别结果。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语音/音频传输或识别

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.5 PDF p.13

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.5 PDF p.13

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.5 PDF p.8 PDF p.9

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.5 PDF p.8 PDF p.9

实验设置与主要结论

数据集:LibriSpeech

Baseline:DeepSC

指标:WER、CER、accuracy、latency、BER

信道:Rayleigh、MIMO、OFDM

实验使用LibriSpeech;与DeepSC比较;用WER、CER、准确率、潜伏期、BER评估;并使用Rayleigh、MIMO、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.5 PDF p.8 PDF p.9

模拟结果将表明,所提SAC-ST在语音转文本传输指标方面,尤其是在低信噪比区段,表现优于无语义感知网络的MIMO信道语音转文本传输通信框架。 PDF p.5 PDF p.7 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Semantic MIMO Systems for Speech-to-Text Transmission 架构/方法页
Semantic MIMO Systems for Speech-to-Text Transmission,原 PDF 第 3 页(架构/方法页)。
Semantic MIMO Systems for Speech-to-Text Transmission 关键结果页
Semantic MIMO Systems for Speech-to-Text Transmission,原 PDF 第 8 页(关键结果页)。

Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel Coding

2024 · IEEE Transactions on Wireless Communications · 任务导向联合信源信道设计

作者:Shiqi Sun; Zhijin Qin; Huiqiang Xie; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明语义通信通过强大的提取和传输语义信息的能力,在减少传输数据量方面展现出巨大潜力。 PDF p.1 PDF p.2
  2. 仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1 PDF p.2 PDF p.9
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺少本文随后引入的论文专用机制:为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。 PDF p.1 PDF p.2 PDF p.9
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了基于自适应信道编码的面向任务场景图语义通信。其具体设计总结如下:为了增强语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,该系统在任务执行性能、对信道变化的鲁棒性、传输效率和计算复杂度方面优于其他通信系统。 PDF p.6 PDF p.8 PDF p.9

系统怎么工作

该系统是任务导向推理的端到端通信链路。为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2

发送端:发送者应用论文的语义/信源信道编码器:为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.4

实验设置与主要结论

数据集:ImageNet、Flickr30k

Baseline:DeepJSCC、BPG、LDPC、BERT、DeepSC

指标:CER、accuracy、latency

信道:AWGN、Rayleigh、Rician、fading channel、QAM

实验使用ImageNet、Flickr30k;与DeepJSC、BPG、LDPC、BERT、DeepSC进行比较;用CER评估准确率和潜伏期;并使用AWGN、Rayleigh、Rician、衰落信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3 PDF p.4

实验结果显示,该系统在任务执行性能、对信道变化的鲁棒性、传输效率和计算复杂度方面优于其他通信系统。 PDF p.6 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel Coding 架构/方法页
Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel Coding,原 PDF 第 3 页(架构/方法页)。
Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel Coding 关键结果页
Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel Coding,原 PDF 第 8 页(关键结果页)。

Wireless Video Transmission with Joint Semantic-Channel Coding

2024 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Yali Huang; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确立:随着6G时代的到来,高效传输大规模高分辨率视频对现有通信系统构成了重大挑战。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留视频传输或生成目标所需的语义内容。 PDF p.1 PDF p.3 PDF p.5
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文特有机制:传统和基于人工智能的视频编解码器都独立于传输问题优化压缩,依赖熵模型拟合和估计潜在特征的分布,使其对信道解码中的数值波动非常敏感。 PDF p.1 PDF p.3 PDF p.5
  4. 为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文提出了带有联合语义信道编码的无线视频传输。其具体设计总结如下:本文提出了一种高效的语义-信道联合编码模型用于无线视频传输,该模型根据视频序列和信道条件的上下文信息调整输出速率,确保即使在不同信道条件下视频传输的可靠性。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果关系在于,传统和基于人工智能的视频编解码器都独立于传输问题而优化压缩,依赖熵模型拟合和估计潜在特征的分布,使其对信道解码中的数值波动非常敏感。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:鉴于发射端和接收端之间的上下文不一致,并为提高噪声鲁棒性,我们避免了[9]中强依赖特征传播链。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是视频传输或生成的端到端通信链路。本文提出了一种高效的语义信道联合编码模型用于无线视频传输,该模型根据视频序列和信道条件的上下文信息调整输出速率,确保即使在不同信道条件下视频传输的可靠性。传统和基于人工智能的视频编解码器都独立于传输问题优化压缩,依赖熵模型拟合和估计潜在特征的分布,因此对信道解码中的数值波动非常敏感。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:其来源是视频帧或视频语义。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用了论文的语义/信源信道编码器:传统和基于人工智能的视频编解码器都独立于传输问题,依赖熵模型拟合和估计潜在特征的分布,使其对信道解码中的数值波动非常敏感。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2 PDF p.4

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的视频。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:视频传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.4

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:JPEG、LDPC、H.264、H.265

指标:PSNR、LPIPS、latency

信道:AWGN

实验使用论文中所述的源/任务数据集;与JPEG、LDPC、H.264、H.265比较;评估PSNR、LPIPS和潜伏期;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.4

鉴于发射端和接收端之间的上下文不一致,并为提高噪声鲁棒性,我们避免了[9]中强依赖特征传播链。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Wireless Video Transmission with Joint Semantic-Channel Coding 架构/方法页
Wireless Video Transmission with Joint Semantic-Channel Coding,原 PDF 第 2 页(架构/方法页)。
Wireless Video Transmission with Joint Semantic-Channel Coding 关键结果页
Wireless Video Transmission with Joint Semantic-Channel Coding,原 PDF 第 4 页(关键结果页)。

Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment

2025 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhiyuan Qi; Yulong Feng; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在这篇论文之前,相关研究领域已经证明深度学习支持的语义通信正受到广泛关注。 PDF p.1
  2. 仍然存在的问题:大多数工作通常忽略数据采集过程,并在动态信道环境下存在鲁棒性问题。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:为单一带宽、信噪比或信道分布训练的模型具有固定的瓶颈和保护模式。当操作条件发生变化时,使用相同表示法进行重复推断无法为变得脆弱的信息重新分配速率或冗余。更具体地说,已有链路缺少了后来引入的论文专用机制:为此,信噪比(SNR)作为额外参数输入,用于积分和重组中间特性。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文发展了动态信道环境下的自适应采样和联合语义信道编码。其具体设计总结如下:本文提出了自适应联合采样语义信道编码(Adaptive-JSSCC)框架。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,为此,信噪比(SNR)作为额外参数输入被用来积分和重组中间特性。表示或保护模式可以随着操作条件变化而变化,而非训练后保持固定。 PDF p.1 PDF p.4
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,拟议的自适应JSSCC有效减少数据采集量,同时不降低重建性能,且高度适应和可调节动态信道环境。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文提出了一种自适应联合采样语义信道编码(Adaptive-JSSCC)框架。为此,信噪比(SNR)作为额外参数输入,用于积分和重组中间特性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.4

输入:源是输入图像。 PDF p.1 PDF p.4

发送端:发送方应用论文的语义/信源信道编码器:为此,信噪比(SNR)作为额外参数输入,用于整合和重组中间特征。 PDF p.1 PDF p.4

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.4

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.4

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.4

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2

实验设置与主要结论

数据集:Kodak

Baseline:DeepJSCC

指标:PSNR、SSIM

信道:AWGN

实验使用柯达;与DeepJSCC比较;评估与PSNR、SSIM合作;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2

模拟结果表明,拟议的自适应JSSCC有效减少数据采集量,同时不降低重建性能,且高度适应和可调节动态信道环境。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:适配只在有限的带宽/信道范围内验证;控制信令、在线稳定性及超出训练范围后的外推仍不确定。

Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment 架构/方法页
Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment,原 PDF 第 2 页(架构/方法页)。
Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment 关键结果页
Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment,原 PDF 第 4 页(关键结果页)。

Cross-Layer Security for Semantic Communications: Metrics and Optimization

2025 · IEEE Transactions on Vehicular Technology · 通信安全与隐私

作者:Lingyi Wang; Wei Wu; Fuhui Zhou; Zhijin Qin; Qihui Wu

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立:与注重物理层符号保护的传统安全通信不同,语义安全通信需要进一步关注应用层的语义级任务性能。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使合法接收者重建良好,语义表示仍可能泄露源内容或控;仅限可靠性的设计无法量化这一威胁。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺乏本文随后引入的论文专用机制:我们提出了一个基于强化学习(RL)的分层AI原生语义安全通信网络,旨在确保跨层语义安全(CL-SS)。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了《语义通信的跨层安全:指标与优化》。其具体设计总结如下:我们提出一个基于强化学习(RL)的分层式语义安全通信网络,旨在确保跨层语义安全(CL-SS)。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于:我们提出了一个基于强化学习(RL)的分层式AI语义安全通信网络,旨在确保跨层语义安全(CL-SS)。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:最后,我们证明了所提出的智能资源分配的收敛性,模拟结果表明,我们提出的CLSS方法在任务可靠性和CLSSR方面优于传统的物理层语义安全(PL-SS)方法。 PDF p.3 PDF p.5

系统怎么工作

该系统是语义信息度量与理论的端到端通信链路。我们提出了一个基于强化学习(RL)的分层式AI语义安全通信网络,旨在确保跨层语义安全(CL-SS)。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是一个源-任务-信道概率模型。 PDF p.1 PDF p.2

发送端:发送方应用论文中的语义/信源信道编码器:我们提出了一个基于强化学习(RL)的分层式AI语义安全通信网络,旨在确保跨层语义安全(CL-SS)。 PDF p.1 PDF p.2

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.5

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是一个界限、度量或优化原则。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:语义信息度量与理论

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.5

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建了界限、度量或优化原则。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.5

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:论文未在结构化字段中明确列出

指标:accuracy、latency

信道:Rayleigh、MIMO、PSK

实验使用论文中所述的源/任务数据集;与论文中标明的参考系统进行比较;准确评估,延迟;并使用Rayleigh、MIMO、PSK。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.5

最后,我们证明了所提出的智能资源分配的收敛性,模拟结果表明,我们提出的CLSS方法在任务可靠性和CLSSR方面均优于传统物理层语义安全(PL-SS)方法。 PDF p.3 PDF p.5

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

Cross-Layer Security for Semantic Communications: Metrics and Optimization 架构/方法页
Cross-Layer Security for Semantic Communications: Metrics and Optimization,原 PDF 第 2 页(架构/方法页)。
Cross-Layer Security for Semantic Communications: Metrics and Optimization 关键结果页
Cross-Layer Security for Semantic Communications: Metrics and Optimization,原 PDF 第 6 页(关键结果页)。

Deep Learning-Based Semantic Communication System for Wireless Image Transmission

2025 · IEEE Wireless Communications Letters · 联合信源信道编码(JSCC)与语义信源编码

作者:Li-Lin Hu; Lisu Yu; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已确立:随着语义通信能够高效提取语义信息并显著减少数据传输量,越来越多的研究正在探索基于深度学习的语义通信方法。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.5
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:为了解决语义通信系统适应不同信道状态的适应问题,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分权重。 PDF p.1 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了基于深度学习的无线图像传输语义通信系统。其具体设计总结如下:本文提出了一种基于卷积神经网络(ConvNet)的语义通信无线图像传输系统ConvSC,利用深度学习技术进行语义信息的提取和重建。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,为了应对语义通信系统对不同信道状态的适应,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分的权重。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,与基线模型相比,我们提出的ConvSC在多个指标上,在不同信道环境中表现更优。 PDF p.2 PDF p.4 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文提出了一种基于卷积神经网络(ConvNet)的无线图像传输语义通信系统ConvSC,利用深度学习技术进行语义信息提取和重建。为了应对语义通信系统适应不同信道状态的问题,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分的权重。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文中的语义/信源信道编码器:为适应语义通信系统对不同信道状态的问题,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分权重。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Polar、Turbo、WITT、separation-based

指标:PSNR、SSIM、MS-SSIM

信道:AWGN、Rayleigh、fading channel

实验使用论文中所述的源/任务数据集;与DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Polar、Turbo、WITT比较;用PSNR、SSIM、MS-SSIM评估;并使用AWGN、Rayleigh、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

模拟结果表明,与基线模型相比,我们提出的ConvSC在不同信道环境中的多项指标上表现更优。 PDF p.2 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Deep Learning-Based Semantic Communication System for Wireless Image Transmission 架构/方法页
Deep Learning-Based Semantic Communication System for Wireless Image Transmission,原 PDF 第 1 页(架构/方法页)。
Deep Learning-Based Semantic Communication System for Wireless Image Transmission 关键结果页
Deep Learning-Based Semantic Communication System for Wireless Image Transmission,原 PDF 第 4 页(关键结果页)。

Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach

2025 · IEEE Wireless Communications Letters · 资源分配与跨层优化

作者:Xiaojing Chen; Jia Xu; Wei Ni; Shuyan Hu; Zhijin Qin; Shunqing Zhang

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已经确立了有效资源分配对语义通信效率至关重要,尤其是在能源有限和通信资源受限的情况下。 PDF p.2 PDF p.3 PDF p.5
  2. 仍然存在的问题:有效的资源分配对于语义通信的效率至关重要,尤其是在能源供应有限和通信资源受限的情况下。 PDF p.1 PDF p.3 PDF p.5
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏这里后来介绍的论文专用机制:有效的资源分配对语义通信的效率至关重要,尤其是在能源有限和通信资源受限的情况下。 PDF p.1 PDF p.3 PDF p.5
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.2 PDF p.3 PDF p.5
  5. 本文怎样顺着问题提出方案:因此,本文提出了《多用户语义通信的节能资源分配:深度强化学习方法》。其具体设计总结如下:本文开发了题目所述的方法:多用户语义通信的节能资源分配:深度强化学习方法。 PDF p.2 PDF p.3 PDF p.5
  6. 方案为什么有可能起作用:其因果联系在于,有效的资源分配对于语义通信的效率至关重要,尤其是在能源有限和通信资源受限的情况下。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提算法实现了更快的收敛速度,并且与基准测试相比,S-EE提升了31.6%。 PDF p.2 PDF p.5

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。该论文发展了题为《多用户语义通信的节能资源分配:深度强化学习方法》所描述的方法。有效的资源分配对于语义通信的效率至关重要,尤其是在能源供应有限和通信资源受限的情况下。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:有效的资源分配对语义通信的效率至关重要,尤其是在能源有限和通信资源受限的情况下。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.2 PDF p.4

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.4

接收端实际上是从系统模型中假设的接收机模型出发的。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepSC

指标:accuracy、semantic similarity、BER、CLIP

信道:AWGN、Rayleigh、OFDM

实验使用论文中所述的源/任务数据集;与DeepSC比较;准确性、语义相似性、BER、CLIP评估;并使用AWGN、Rayleigh、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.4

模拟结果表明,所提算法收敛速度更快,并使S-EE提升31.6%,相比基准测试。 PDF p.2 PDF p.5

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach 架构/方法页
Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach,原 PDF 第 2 页(架构/方法页)。
Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach 关键结果页
Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach,原 PDF 第 4 页(关键结果页)。

Generalizable 3D Gaussian Splatting Enabled Immersive Video Communications with Semantic Coding

2025 · Proceedings of the 3rd ACM Workshop on Mobile Immersive Computing, Networking, and Systems · 待全文核验

作者:Dingxi Yang; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

该条目书目已核验,但尚未合法取得全文;本页不把摘要当作阅读全文分析,方法、实验和价值判断保持待核验状态。

全文尚未取得或 PDF 中未能可靠定位可展示图页,因此暂不展示架构/结果图。

Generative Semantic Communications for Robust Speech-to-Text Translation

2025 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhenzi Weng; Zijing Wang; Zhijin Qin; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关工作已确立:首先,开发了深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,并减少传输数据量而不降低性能。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.2 PDF p.9
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏后来引入的论文专用机制:首先,开发了深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量而不降低性能。 PDF p.1 PDF p.2 PDF p.9
  4. 为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了用于稳健语音转文本翻译的生成语义通信。其具体设计总结如下:本文提出一种名为Ross-S2T的稳健语义通信语音传输系统,以高效执行语音转文本(S2TT)传输。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,首先开发了一个深度语义编码器,能够直接将源语言中的语音转换为与目标语言相关的文本特征,从而促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量而不影响性能。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:采用LSR-CE而非CE的动机是通过引入标签平滑正则化,提高测试阶段的翻译准确性,以减少翻译过程中的过度信心,并增强令牌预测的泛化性。 PDF p.6 PDF p.8 PDF p.9

系统怎么工作

该系统是语音/音频传输或识别的端到端通信链路。本文提出了一种稳健的语音传输语义通信系统,名为Ross-S2T,以高效执行语音转文本(S2TT)传输。首先,开发了深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量而不降低性能。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:信号来源是语音或音频。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:首先,开发深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量且不影响性能。 PDF p.1 PDF p.2

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.3 PDF p.5 PDF p.6

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是语音波形、文本转录或识别结果。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:语音/音频传输或识别

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.4 PDF p.6

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.4 PDF p.6

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.5 PDF p.6

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.5 PDF p.6

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:Polar、DeepSC

指标:BLEU、accuracy、semantic similarity、latency

信道:AWGN、Rayleigh、fading channel、MIMO、QAM

实验使用论文中所述的源/任务数据集;可以和Polar、DeepSC比较;用BLEU评估准确性、语义相似性和延迟;并使用AWGN、Rayleigh、衰落信道、MIMO、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3 PDF p.5 PDF p.6

采用LSR-CE而非CE的动机是通过引入标签平滑正则化,提高测试阶段的翻译准确性,以减少翻译过程中的过度自信,并增强代币预测的泛化性。 PDF p.6 PDF p.8 PDF p.9

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Generative Semantic Communications for Robust Speech-to-Text Translation 架构/方法页
Generative Semantic Communications for Robust Speech-to-Text Translation,原 PDF 第 4 页(架构/方法页)。
Generative Semantic Communications for Robust Speech-to-Text Translation 关键结果页
Generative Semantic Communications for Robust Speech-to-Text Translation,原 PDF 第 9 页(关键结果页)。

Hybrid Digital-Analog Semantic Communications

2025 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Huiqiang Xie; Zhijin Qin; Zhu Han; Khaled B. Letaief

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已确立数字和模拟语义通信(SemCom)面临固有局限,如模拟SemCom中的数据安全问题,以及数字SemCom中的平稳和悬崖边效应。 PDF p.1 PDF p.2
  2. 仍然存在的问题:数字和模拟语义通信(SemCom)面临固有限制,如模拟SemCom的数据安全问题,以及数字SemCom中的平稳和悬崖效应。 PDF p.1 PDF p.3 PDF p.8
  3. 为什么已有方法解决不了:纯模拟分支性能下降,但缺乏本地的比特级安全和协议接口,而纯数字分支虽然提供该接口,但可能出现饱和和解码悬崖。单独改进任一分支,可以保持另一个失败模式。更具体地说,已有链路缺乏本文随后引入的专门论文机制:此外,我们提出了基于扩散的信号检测技术,涉及精心设计的方差表和采样算法以精细化传输信号。 PDF p.1 PDF p.3 PDF p.8
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文发展了混合数字-模拟语义通信。其具体设计总结如下:为克服这些挑战,我们提出了一个新型SemCom框架及相应系统HDA-DeepSC,采用数字-模拟混合方式实现多媒体传输。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,此外,我们还提出了基于扩散的信号检测技术,这些技术涉及精心设计的方差表和采样算法,以精细化传输信号。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1 PDF p.2 PDF p.4
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们提出的框架在峰值信噪比和多尺度结构相似性方面优于现有基准,展示了其在语义通信质量上的优越性。 PDF p.5 PDF p.6 PDF p.8

系统怎么工作

该系统是图像传输或生成的端到端通信链路。为克服这些挑战,我们提出了一个新型SemCom框架及相应系统HDA-DeepSC,采用数字-模拟混合方式实现多媒体传输。此外,我们还提出了基于扩散的信号检测技术,涉及精心设计的方差计划和采样算法,以优化传输信号。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.4

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.4

发送端:发送方应用论文的语义/信源信道编码器:此外,我们提出基于扩散的信号检测技术,涉及精心设计的方差计划和采样算法以优化传输信号。 PDF p.1 PDF p.2 PDF p.4

实际发送:传输对象是携带量化/熵编码比特的数字分支和携带连续语义特征的模拟分支。 PDF p.1 PDF p.2 PDF p.4

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为量化 bitstream 与连续模拟语义特征并行传输并在接收端融合。 PDF p.3

接收端:接收机从解调/信道解码的数字比特以及噪声的模拟语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.4

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.4

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:混合数字—模拟语义表示

发送端发送一个数字分支,携带量化/熵编码的比特,以及一个模拟分支,携带连续语义特征。这被归类为:混合数字—模拟语义表示。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.11

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.11

信道怎样作用,接收端实际拿到什么

信道处理类别:量化 bitstream 与连续模拟语义特征并行传输并在接收端融合

在拟议的传输路径中,信道的处理方式如下:量化 bitstream 与连续模拟语义特征并行传输并在接收端融合。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3

接收机实际上是从解调/信道解码的数字比特以及噪声的模拟语义特征出发的。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3

实验设置与主要结论

数据集:Kodak

Baseline:DeepJSCC、BPG、JPEG、LDPC、DeepSC

指标:PSNR、SSIM、MS-SSIM、BLEU、latency

信道:AWGN、Rayleigh、Rician、fading channel、MIMO、OFDM、QAM

实验使用柯达;可与DeepJSCC、BPG、JPEG、LDPC、DeepSC进行比较;评估包括PSNR、SSIM、MS-SSIM、BLEU、延迟;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3

我们提出的框架在峰值信噪比和多尺度结构相似性方面优于现有基准,展示了其在语义通信质量上的优势。 PDF p.5 PDF p.6 PDF p.8

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:虽已有数字接口,残余 bit/index 错误、有限码长开销、同步以及完整 PHY 兼容性仍需进一步验证。

Hybrid Digital-Analog Semantic Communications 架构/方法页
Hybrid Digital-Analog Semantic Communications,原 PDF 第 2 页(架构/方法页)。
Hybrid Digital-Analog Semantic Communications 关键结果页
Hybrid Digital-Analog Semantic Communications,原 PDF 第 9 页(关键结果页)。

Image Semantic Communication With Quadtree Partition-Based Coding

2025 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Yinhuan Huang; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确立基于深度学习的语义通信(DeepSC)系统已成为高效无线传输的有前景范式。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.3 PDF p.10
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的专用机制:在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。 PDF p.1 PDF p.3 PDF p.10
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文发展了基于四叉树划分编码的图像语义通信。其具体设计总结如下:为解决这些限制,我们提出了一种新颖的图像DeepSC系统,采用基于四叉树划分的联合语义信道编码,名为Quad-DeepSC,该系统在实现最先进的传输性能的同时保持低复杂度。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量实验结果表明,Quad-DeepSC 是首个超越传统通信系统(采用 VTM 进行源编码,并在 3GPP 标准下采用最优 MCS 指数进行信道编码和数字调制)的 DeepSC 系统,跨不同分辨率数据集的性能。 PDF p.5 PDF p.6 PDF p.7

系统怎么工作

该系统是图像传输或生成的端到端通信链路。为解决这些局限,我们提出了一种采用基于四叉树划分的联合语义信道编码的新型图像DeepSC系统,名为Quad-DeepSC,该系统在实现尖端传输性能的同时保持低复杂度。在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4

实验设置与主要结论

数据集:ImageNet、Kodak、DIV2K

Baseline:BPG、JPEG、LDPC、VTM、DeepSC、SwinJSCC、NTSCC

指标:PSNR、SSIM、MS-SSIM、accuracy、latency

信道:AWGN、Rayleigh、Rician、fading channel、MIMO

实验使用ImageNet、柯达、DIV2K;与BPG、JPEG、LDPC、VTM、DeepSC、SwinJSCC、NTSCC;用PSNR、SSIM、MS-SSIM、精度、延迟进行评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4

大量实验结果表明,Quad-DeepSC 是首个在不同分辨率数据集上性能超越传统通信系统(采用 VTM 进行源编码,并在 3GPP 标准下采用最优 MCS 索引进行信道编码和数字调制)的 DeepSC 系统。 PDF p.5 PDF p.6 PDF p.7

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Image Semantic Communication With Quadtree Partition-Based Coding 架构/方法页
Image Semantic Communication With Quadtree Partition-Based Coding,原 PDF 第 2 页(架构/方法页)。
Image Semantic Communication With Quadtree Partition-Based Coding 关键结果页
Image Semantic Communication With Quadtree Partition-Based Coding,原 PDF 第 9 页(关键结果页)。

Joint Semantic-Channel Coding and Modulation for Point Cloud

2025 · ICC 2025 - IEEE International Conference on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Jingkai Ying; Zhijin Qin; Liejun Wang; Xiaoming Tao

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1 PDF p.2
  2. 仍然存在的问题:语义通信在多种方式中的成功激励我们利用语义通信解决点云传输的挑战。 PDF p.1 PDF p.5 PDF p.6
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少后来引入的论文特有机制:需要定制设计将JSCC输出映射到信道符号。 PDF p.1 PDF p.5 PDF p.6
  4. 为什么这个问题值得研究:这个问题很重要,因为XR和3D感知源极其庞大,而交互感应延迟。以更少的信道使用方式保留几何体或任务相关对象,直接提升了延迟和无线负载。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了点云的联合语义信道编码与调制。其具体设计总结如下:论文开发了题目所述的方法:点云的联合语义信道编码与调制。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于需要定制设计将JSCC输出映射到信道符号。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:可以看出,随着星座点传输数量的增加,重建性能逐渐提升。 PDF p.5 PDF p.6

系统怎么工作

该系统是点云/三维场景传输的端到端通信链路。论文发展了题目所述的方法:点云的联合语义信道编码与调制。需要定制设计将JSCC输出映射到信道符号。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:其来源是点云或三维场景观测。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:需要定制设计将JSCC输出映射到信道符号。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建的三维内容或下游三维任务输出。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:点云/三维场景传输

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的三维内容或下游三维任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3 PDF p.4

实验设置与主要结论

数据集:ShapeNet

Baseline:LDPC、BERT

指标:PSNR

信道:AWGN、QAM

实验使用ShapeNet;与LDPC的BERT比较;与PSNR评估;并使用AWGN、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3 PDF p.4

可以看出,随着星座点传输数量的增加,重建性能逐渐提升。 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Joint Semantic-Channel Coding and Modulation for Point Cloud 架构/方法页
Joint Semantic-Channel Coding and Modulation for Point Cloud,原 PDF 第 2 页(架构/方法页)。
Joint Semantic-Channel Coding and Modulation for Point Cloud 关键结果页
Joint Semantic-Channel Coding and Modulation for Point Cloud,原 PDF 第 4 页(关键结果页)。

Joint Semantic-Channel Coding and Modulation for Token Communications

2025 · IEEE Transactions on Wireless Communications · 调制/波形与数字物理层接口

作者:Jingkai Ying; Zhijin Qin; Yulong Feng; Liejun Wang; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关工作领域已证明近年来,Transformer架构在广泛的任务和模态上取得了卓越的性能。 PDF p.1
  2. 仍然存在的问题:缺乏统一语义表示以及各模态间存在显著的架构空白,仍然是其进步的主要障碍。 PDF p.1 PDF p.9
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:具体来说,JSCCM由两个并行的点变换器编码器和一个结合Gumel-softmax和软量化方法的差分调制器组成。 PDF p.1 PDF p.9
  4. 为什么这个问题值得研究:问题之所以重要,是因为少量符号错误可能会改变整个句子的含义。因此,可靠性必须通过恢复的意义或下游语言任务质量来判断,而不仅仅是比特错误率。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了代币通信的联合语义信道编码与调制。其具体设计总结如下:随后,为了获得基于代币的更信息丰富且传输友好的表示,我们提出了一种联合语义信道与调制(JSCCM)方案,将点标记映射到标准数字星座点(调制标记)。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,具体来说,JSCCM由两个基于点变换器的并行编码器和一个结合Gumel-softmax和软量化方法的差分调制器组成。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量模拟表明,所提方法优于联合语义信道编码和传统分离编码,重建增益超过1dB,调制符号压缩比超过6×。 PDF p.7 PDF p.9 PDF p.10

系统怎么工作

该系统是文本传输/机器翻译的端到端通信链路。随后,为了基于代币获得更信息丰富且传输友好的表示,我们提出了一种联合语义信道与调制(JSCCM)方案,用于代币编码器,将点标记映射到标准数字星座点(调制标记)。具体来说,JSCCM 由两个基于点变换器的并联编码器和一个结合 Gumel-softmax 和软量化方法的差分调制器组成。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.3

输入:源是一个句子或标记序列。 PDF p.1 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:具体来说,JSCCM由两个基于点变换器的并行编码器和一个结合Gumel-softmax和软量化方法的差分调制器组成。 PDF p.1 PDF p.3

实际发送:传输对象是有限星座符号、OFDM/OTFS资源或受保护的数据包。 PDF p.1 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为调制符号或编码包经过有噪声物理层。 PDF p.3 PDF p.4

接收端:接收端从均衡或软解调的符号开始,然后进行语义表示,并应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.3

输出:最终输出是恢复的文本或翻译结果。 PDF p.1 PDF p.3

它在通信系统的哪个位置

研究任务:文本传输/机器翻译

所属环节:调制/波形与数字物理层接口。决定语义表示如何变成有限星座、子载波、数据包或多天线信号。

给深度学习研究生的解释:这是神经网络 bottleneck 接到实际 modem 的位置;需要明确 bit、symbol、CSI、功率和误码。

实际发送了什么,以及占多少通信资源

表示与数字化判断:有限星座/标准波形接口

发送方发送有限星座符号、OFDM/OTFS资源或受保护数据包。这被归类为:有限星座/标准波形接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.9 PDF p.10

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.9 PDF p.10

信道怎样作用,接收端实际拿到什么

信道处理类别:调制符号或编码包经过有噪声物理层

在拟议的传输路径中,信道的处理方式如下:调制符号或编码包经过有噪声物理层。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.4

接收端实际上是从均衡或软解调的符号开始,然后是语义表示。然后它会重建恢复的文本或翻译结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.4

实验设置与主要结论

数据集:ShapeNet

Baseline:DeepJSCC、LDPC、BERT、separation-based

指标:PSNR、latency

信道:AWGN、Rayleigh、fading channel、QAM

实验使用ShapeNet;与基于分离的DeepJSCC、LDPC、BERT进行比较;用PSNR评估,延迟;并使用AWGN、Rayleigh、衰落信道、QAM。一个代表性的报告工作状态为:接收信号功率可计算为 Psignal = E ∥ Z∥2 Nsend 。(4) 相应地,AWGN信道的信噪比(分贝)可计算为SNR = 10 log10 P信号噪声。(5) 关于瑞利衰落情景,ˆZ 可得到 ˆZ = h ·̄Z + n,(6),其中h是发射端与接收端之间的信道增益。 PDF p.3 PDF p.4

大量模拟表明,该方法优于联合语义信道编码和传统分离编码,重建时增益超过1dB,调制符号压缩比超过6×。 PDF p.7 PDF p.9 PDF p.10

通信审稿价值与 Codex 判断

价值在于补上可部署接口并量化频谱效率、误码、PAPR、CSI 或 MIMO 增益。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Joint Semantic-Channel Coding and Modulation for Token Communications 架构/方法页
Joint Semantic-Channel Coding and Modulation for Token Communications,原 PDF 第 1 页(架构/方法页)。
Joint Semantic-Channel Coding and Modulation for Token Communications 关键结果页
Joint Semantic-Channel Coding and Modulation for Token Communications,原 PDF 第 8 页(关键结果页)。

Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment

2025 · IEEE Transactions on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Wei Wu; Tianle Yao; Fuhui Zhou; Zhijin Qin; Han Hu; Quan Wu

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已证明,由于深度学习技术的发展,语义通信在图像分类等多个任务中表现出卓越的表现。 PDF p.1 PDF p.2
  2. 仍然存在的问题:由于无线信道的开放性和神经网络的脆弱性,语义通信面临物理信道语义障碍带来的重大挑战。 PDF p.1 PDF p.2 PDF p.11
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺乏本文后面介绍的专属机制:此外,我们创新地提出了知识图谱增强的反损伤认知语义通信,结合知识图谱与对抗训练,以增强对语义障碍的韧性。 PDF p.1 PDF p.2 PDF p.11
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文提出了《知识图谱增强的强健认知语义通信:针对语义障碍》。其具体设计总结如下:我们从语义层面、隐蔽层面和效率层面设计了四个约束,以模拟潜在的恶意语义损伤。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,我们创新地提出了知识图谱增强的反损伤认知语义通信,该技术结合了知识图谱和对抗性训练,以增强对语义障碍的韧性。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,我们提出的知识图谱增强认知语义通信系统在低信噪比和语义障碍环境中,比现有的更优便携图形(BPG)和联合信源信道编码(JSCC)方案实现更高的分类准确性和鲁棒性。 PDF p.6 PDF p.9 PDF p.11

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们从语义层面、隐蔽层级和效率层面设计了四个约束,以模拟潜在的恶意语义损伤。此外,我们创新地提出了知识图谱增强的反损伤认知语义通信,结合知识图谱与对抗训练,以增强对语义障碍的韧性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送者应用了论文的语义/信源信道编码器:此外,我们创新地提出了知识图谱增强的反损伤认知语义通信,结合知识图谱与对抗训练,以增强对语义障碍的鲁棒性。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.6 PDF p.13

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2 PDF p.4 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2 PDF p.4 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.6 PDF p.13

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.6 PDF p.13

实验设置与主要结论

数据集:CIFAR-10、DIV2K

Baseline:BPG、LDPC、BERT、WITT

指标:PSNR、SSIM、LPIPS、accuracy、semantic similarity、latency

信道:带噪连续 latent/复信道符号端到端联合训练

实验使用CIFAR-10,DIV2K;与BPG、LDPC、BERT、WITT比较;评估标准为PSNR、SSIM、LPIPS、准确性、语义相似性、延迟;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.6 PDF p.13

模拟结果表明,我们提出的知识图谱增强认知语义通信系统在低信噪比和语义障碍环境中,比现有的更优便携图形(BPG)和联合信源信道编码(JSCC)方案实现更高的分类准确性和鲁棒性。 PDF p.6 PDF p.9 PDF p.11

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment 架构/方法页
Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment,原 PDF 第 3 页(架构/方法页)。
Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment 关键结果页
Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment,原 PDF 第 11 页(关键结果页)。

Large AI Model-Enabled Generative Semantic Communications for Image Transmission

2025 · GLOBECOM 2025 - 2025 IEEE Global Communications Conference · 联合信源信道编码(JSCC)与语义信源编码

作者:Qiyu Ma; Wanli Ni; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明预训练生成模型能够从紧凑的语义条件重建合理的来源细节,表明可预测内容不必全部通过无线电链路传输。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.5
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏后来引入的论文专用机制:包含关键视觉信息的关键区域通过面向图像的语义编码器处理,而非关键区域则通过图像到文本建模高效压缩。 PDF p.1 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了用于图像传输的大型人工智能模型支持生成语义通信。其具体设计总结如下:论文开发了题目所述的方法:大型人工智能模型赋能生成语义通信用于图像传输。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,包含关键视觉信息的关键区域通过面向图像的语义编码器处理,而非关键区域则通过图像转文本建模高效压缩。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:为了在逆时间扩散过程中结合语义信息和受控噪声,实现有效的图像重建,我们采用了逆时间随机微分方程(SDE)。 PDF p.3 PDF p.4

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了题目所述的方法:大型人工智能模型赋能生成语义通信图像传输。包含关键视觉信息的关键区域通过面向图像的语义编码器处理,而非关键区域则通过图像到文本建模方法高效压缩。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:包含关键视觉信息的关键区域使用面向图像的语义编码器处理,而非关键区域则通过图像转文本建模高效压缩。 PDF p.1 PDF p.2

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.3 PDF p.5

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.5

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.5

实验设置与主要结论

数据集:VQA

Baseline:DeepJSCC、BPG、LDPC

指标:PSNR、SSIM、LPIPS、FID、accuracy

信道:MIMO

实验中使用VQA;与DeepJSC、BPG、LDPC比较;评估PSNR、SSIM、LPIPS、FID等准确性;并使用MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3 PDF p.5

为了在逆时间扩散过程中结合语义信息和受控噪声,实现有效的图像重建,我们采用了逆时间随机微分方程(SDE)。 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Large AI Model-Enabled Generative Semantic Communications for Image Transmission 架构/方法页
Large AI Model-Enabled Generative Semantic Communications for Image Transmission,原 PDF 第 2 页(架构/方法页)。
Large AI Model-Enabled Generative Semantic Communications for Image Transmission 关键结果页
Large AI Model-Enabled Generative Semantic Communications for Image Transmission,原 PDF 第 4 页(关键结果页)。

Large Model Empowered Streaming Speech Semantic Communications

2025 · IEEE Wireless Communications Letters · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhenzi Weng; Zhijin Qin; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关工作已确立:具体来说,我们通过将复杂的语义提取和信道编码模块卸载到边缘服务器,设计了一种边缘设备协作语义通信架构,从而降低本地设备的计算负担。 PDF p.1 PDF p.2
  2. 仍然存在的问题:支持DL的语义通信吸引了广泛关注,并克服了近似语义表示的挑战[6]。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:从图中可见,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中st是S中的第t个短语音段。ST以流式方式输入本地设备的语音压缩器以获得中间表示, p,通过一个轻量级NN。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文发展了大型模型赋能的流式语音语义通信。其具体设计总结如下:本文介绍了一个大型模型赋能的流语义通信系统,用于跨多种语言的语音传输,名为LSSC-ST。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系是:从图中,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中 st 是 s 中的第 t 个短语音段。st 通过流式传输方式输入本地设备的语音压缩器,通过轻量级 NN 获得中间表示 P。语义忠实度和信道鲁棒性在同一路径中得到优化, 所以瓶颈是针对实际噪声链路设计的。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,LSSCST提供了更准确的语音传输,并且相比现有非流式语义通信系统实现了更低延迟的流式传输方式。 PDF p.4 PDF p.5

系统怎么工作

该系统是语音/音频传输或识别的端到端通信链路。本文介绍了一种大型模型赋能流语义通信系统,用于跨多种语言的语音传输,名为LSSC-ST。从图中看,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中st是S中的第t个短语音段。ST通过流式方式输入本地设备的语音压缩器,通过轻量级NN获得中间表示P。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:信号来源是语音或音频。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:从图中,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中st是S中的第t个短语音段。ST以流式方式输入本地设备的语音压缩器以获得中间表示, p,通过一个轻量级NN。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是语音波形、文本转录或识别结果。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:语音/音频传输或识别

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepSC

指标:latency、BER、SER

信道:AWGN、Rayleigh、fading channel

实验使用论文中所述的源/任务数据集;与DeepSC比较;以潜伏期、BER、SER(延迟)、SER(延迟)评估;并使用AWGN、Rayleigh、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

根据仿真结果,LSSCST提供了更准确的语音传输,并且相比现有的非流式语义通信系统实现了更低延迟的流式传输方式。 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Large Model Empowered Streaming Speech Semantic Communications 架构/方法页
Large Model Empowered Streaming Speech Semantic Communications,原 PDF 第 2 页(架构/方法页)。
Large Model Empowered Streaming Speech Semantic Communications 关键结果页
Large Model Empowered Streaming Speech Semantic Communications,原 PDF 第 3 页(关键结果页)。

Partial Sampling-Based Semantic Communications

2025 · IEEE Transactions on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Kaiwen Yu; Qi He; Gang Wu; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已确立语义通信有潜力提升传输效率并支持智能任务。 PDF p.1 PDF p.2
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.2 PDF p.5
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺少本文随后引入的论文专用机制:抽样位置的选择被建模为一个部分可观测的马尔可夫决策过程问题,并提出了基于强化学习的智能方法来解决该问题。 PDF p.1 PDF p.2 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了部分抽样语义通信。其具体设计总结如下:本文提出了一种新颖的部分采样语义通信(PSSC)框架,边缘发送器在接收端反馈的引导下,只定位并收集与目标任务相关的部分内容。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于,抽样位置的选择被建模为一个部分可观测的马尔可夫决策过程问题,并提出了基于强化学习的智能方法来解决该问题。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提框架能够准确定位信息领域,并与现有基于全球抽样的方法相比实现了竞争力。 PDF p.5 PDF p.7 PDF p.8

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文提出了一种新的部分采样语义通信(PSSC)框架,边缘发送器在接收端反馈的引导下,只定位并收集与目标任务相关的部分内容。抽样位置的选择被建模为一个部分可观测的马尔可夫决策过程问题,并提出了基于强化学习的智能方法来解决该问题。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:采样位置的选择被建模为部分可观测的马尔可夫决策过程问题,并提出基于强化学习的智能方法来解决该问题。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4 PDF p.8

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.5 PDF p.7

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.5 PDF p.7

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4 PDF p.8

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4 PDF p.8

实验设置与主要结论

数据集:MNIST

Baseline:BPG、LDPC、DeepSC

指标:accuracy

信道:AWGN、Rayleigh、fading channel、OFDM

实验使用MNIST;与BPG、LDPC、DeepSC比较;准确评估;并使用AWGN、Rayleigh、衰落信道、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4 PDF p.8

模拟结果表明,所提框架能够准确定位信息区,并与现有基于全球抽样的方法相比,实现了具有竞争力的性能。 PDF p.5 PDF p.7 PDF p.8

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Partial Sampling-Based Semantic Communications 架构/方法页
Partial Sampling-Based Semantic Communications,原 PDF 第 1 页(架构/方法页)。
Partial Sampling-Based Semantic Communications 关键结果页
Partial Sampling-Based Semantic Communications,原 PDF 第 7 页(关键结果页)。

Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAE

2025 · IEEE Transactions on Cognitive Communications and Networking · 联合信源信道编码(JSCC)与语义信源编码

作者:Guangyi Zhang; Hanlei Li; Yunlong Cai; Qiyu Hu; Guanding Yu; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究方向已确立:我们提出了一种新颖框架,称为渐进学习图像传输(PLIT),利用分层变分自编码器(VAE)催化语义通信。 PDF p.1
  2. 仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1 PDF p.6
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:此外,我们还设计了速率注意力机制,帮助调整编码策略以实现不同的传输速率。 PDF p.1 PDF p.6
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了利用分层VAE进行语义通信的渐进式学习图像传输。其具体设计总结如下:我们提出了一种名为渐进学习图像传输(PLIT)的新框架,利用分层变分自编码器(VAE)催化语义通信。 PDF p.1
  6. 方案为什么有可能起作用:其因果关系还在于,我们还设计了一种速率注意力机制,帮助调整编码策略以实现不同的传输速率。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量实验表明,我们提出的方法在速率失真性能方面优于现有基线方法,并且对信道噪声保持稳健性能。 PDF p.4 PDF p.5 PDF p.6

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们提出了一种名为渐进学习图像传输(PLIT)的新框架,利用分层变分自编码器(VAE)来催化语义通信。此外,我们还设计了速率注意力机制,帮助调整编码策略以实现不同的传输速率。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源是输入图像。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:此外,我们设计了速率注意力机制,帮助调整编码策略以实现不同的传输速率。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是重建或生成的图像。 PDF p.1

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.4 PDF p.6

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.4 PDF p.6

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.3 PDF p.4

实验设置与主要结论

数据集:ImageNet、Kodak

Baseline:DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Polar、SwinJSCC、NTSCC、separation-based

指标:PSNR

信道:AWGN

实验使用了ImageNet、柯达;与DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Polar、SwinJSCC、NTSCC进行比较;与PSNR评估;并使用AWGN。一个代表性的运行条件是:然后引入信道带宽比(CBR)来描述传输速率(开销),表示为CBR = K/N。 PDF p.1 PDF p.3 PDF p.4

大量实验表明,我们提出的方法在速率失真性能方面优于现有基线方法,并保持对信道噪声的稳健性能。 PDF p.4 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAE 架构/方法页
Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAE,原 PDF 第 2 页(架构/方法页)。
Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAE 关键结果页
Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAE,原 PDF 第 7 页(关键结果页)。

Robust Semantic Communications for Speech Transmission

2025 · · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhenzi Weng; Zhijin Qin; Geoffrey Ye Li

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究领域已确立:具体来说,我们认为语音转文本(S2TT)是传输目标。 PDF p.1
  2. 仍然存在的问题:引言 语义通信被视为解决传统通信系统技术挑战的有前景解决方案,近年来吸引了大量研究关注[1]。 PDF p.1 PDF p.2 PDF p.4
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:首先,开发了一种新的深度语义编码器,将源语言中的语音转换为目标语言相关的文本特征,促进端到端语义交换以执行S2TT任务,同时减少传输数据且不降低性能。 PDF p.1 PDF p.2 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文发展了语音传输的强健语义通信。其具体设计总结如下:本文提出一种稳健的语义通信系统,名为Ross-S2T,通过传递关键语义信息。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,首先开发了一种新的深度语义编码器,将源语言中的语音转换为与目标语言相关的文本特征,从而促进端到端的语义交换以执行S2TT任务,同时减少传输数据而不降低性能。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:首要挑战是实现端对端语义交换,实现从源语言语音高效传输到目标语言文本。 PDF p.2 PDF p.3 PDF p.4

系统怎么工作

该系统是语音/音频传输或识别的端到端通信链路。本文提出了一种稳健的语音传播语义通信系统,名为Ross-S2T,通过传递关键语义信息。首先,开发了一种新的深度语义编码器,将源语言中的语音转换为与目标语言相关的文本特征,促进端到端语义交换以执行S2TT任务,同时减少传输数据而不降低性能。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:信号来源是语音或音频。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:首先,开发了一种新的深度语义编码器,将源语言中的语音转换为与目标语言相关的文本特征,促进端到端语义交换以执行S2TT任务,并减少传输数据而不降低性能。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是语音波形、文本转录或识别结果。 PDF p.1

它在通信系统的哪个位置

研究任务:语音/音频传输或识别

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:Polar、DeepSC

指标:CER、accuracy

信道:AWGN、Rayleigh、fading channel、QAM

实验使用论文中所述的源/任务数据集;可以和Polar、DeepSC比较;用CER评估准确性;并使用AWGN、Rayleigh、衰落信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3

第一个挑战是实现端对端语义交换,实现从源语言语音到目标语言文本的高效传输。 PDF p.2 PDF p.3 PDF p.4

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Robust Semantic Communications for Speech Transmission 架构/方法页
Robust Semantic Communications for Speech Transmission,原 PDF 第 2 页(架构/方法页)。
Robust Semantic Communications for Speech Transmission 关键结果页
Robust Semantic Communications for Speech Transmission,原 PDF 第 4 页(关键结果页)。

Secure Transmission in Wireless Semantic Communications With Adversarial Training

2025 · IEEE Communications Letters · 通信安全与隐私

作者:Jiting Shi; Qianyun Zhang; Weihao Zeng; Shufeng Li; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已证明,基于深度学习的语义通信技术通过促进语义特征的传输,显著提升了无线通信系统的效率和可靠性。 PDF p.1 PDF p.2
  2. 仍然存在的问题:安全威胁,尤其是敏感数据的拦截,仍然是安全通信面临的重大挑战。 PDF p.1 PDF p.2 PDF p.5
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺少本文随后引入的论文特有机制:它包含语义编码器/解码器、信道编码器/解码器以及带有密钥处理网络的加密/解密模块。 PDF p.1 PDF p.2 PDF p.5
  4. 为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文发展了无线语义通信中带有对抗训练的安全传输。其具体设计总结如下:为保护传输语义的机密性并有效抵御窃听威胁,论文提出一种基于深度学习的安全语义通信系统SecureDSC。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:其因果联系在于它包含语义编码器/解码器、信道编码器/解码器以及加密/解密模块,并带有密钥处理网络。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据不同学习率的结果,lr = 5 × 10⁻⁻ 导致损失函数变更平滑,因此被后续实验选用。 PDF p.4 PDF p.5

系统怎么工作

该系统是语义信息度量与理论的端到端通信链路。为了保护传输语义的机密性并有效抵御窃听威胁,论文提出了一种安全的基于深度学习的语义通信系统SecureDSC。它包含语义编码器/解码器、信道编码器/解码器以及带有密钥处理网络的加密/解密模块。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是一个源-任务-信道概率模型。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:它包含语义编码/解码器、信道编码器/解码器以及加密/解密模块,并带有密钥处理网络。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是一个界限、度量或优化原则。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:语义信息度量与理论

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建了界限、度量或优化原则。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepSC

指标:BLEU、accuracy

信道:AWGN

实验使用论文中所述的源/任务数据集;与DeepSC比较;用BLEU评估准确性;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2

根据不同学习率的结果,lr = 5 × 10⁻⁻ 会导致损失函数的变更平滑,因此被选用于后续实验。 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

Secure Transmission in Wireless Semantic Communications With Adversarial Training 架构/方法页
Secure Transmission in Wireless Semantic Communications With Adversarial Training,原 PDF 第 2 页(架构/方法页)。
Secure Transmission in Wireless Semantic Communications With Adversarial Training 关键结果页
Secure Transmission in Wireless Semantic Communications With Adversarial Training,原 PDF 第 4 页(关键结果页)。

Semantic Communication Based on Large Language Model for Underwater Image Transmission

2025 · IEEE Transactions on Mobile Computing · 联合信源信道编码(JSCC)与语义信源编码

作者:Weilong Chen; Wenxuan Xu; Haoran Chen; Xinran Zhang; Zhijin Qin; Yanru Zhang; Zhu Han

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在本文之前,相关研究已确立水下通信对环境监测、海洋生物学研究和水下探索至关重要。 PDF p.1
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.7
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏本文随后引入的论文专用机制:Zhang 等人也提出了一种生成式人工智能辅助 SC 框架,集成了深度生成模型用于语义特征提取和重建[30]。 PDF p.1 PDF p.7
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了基于大型语言模型的水下图像传输语义通信。其具体设计总结如下:为应对这些挑战,我们提出了基于大型语言模型(LLMs)的新型 SC 框架。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,Zhang 等人也提出了一个生成式人工智能辅助 SC 框架,整合了深度生成模型进行语义特征提取和重建[30]。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2 PDF p.5
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果表明,我们的方法远远优于现有方法,确保了高质量、语义准确的图像重建。 PDF p.5 PDF p.6 PDF p.7

系统怎么工作

该系统是图像传输或生成的端到端通信链路。为应对这些挑战,我们提出了基于大型语言模型(LLM)的新颖SC框架。Zhang 等人还提出了一种生成式人工智能辅助 SC 框架,整合深度生成模型进行语义特征提取和重建[30]。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.5

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.5

发送端:发送者应用了论文中的语义/信源信道编码器:Zhang 等人还提出了一个生成式人工智能辅助 SC 框架,集成深度生成模型进行语义特征提取和重建[30]。 PDF p.1 PDF p.2 PDF p.5

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.5

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2 PDF p.5

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.5

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.5

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.5

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.5

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:论文未在结构化字段中明确列出

指标:SSIM、LPIPS、FID、accuracy、latency、SER、CLIP

信道:OFDM

实验使用论文中所述的源/任务数据集;与论文中标明的参考系统进行比较;用SSIM、LPIPS、FID、准确性、延迟、SER、CLIP来评估;并使用OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.5

实验结果表明,我们的方法显著优于现有方法,确保了高质量、语义准确的图像重建。 PDF p.5 PDF p.6 PDF p.7

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Semantic Communication Based on Large Language Model for Underwater Image Transmission 架构/方法页
Semantic Communication Based on Large Language Model for Underwater Image Transmission,原 PDF 第 3 页(架构/方法页)。
Semantic Communication Based on Large Language Model for Underwater Image Transmission 关键结果页
Semantic Communication Based on Large Language Model for Underwater Image Transmission,原 PDF 第 11 页(关键结果页)。

Semantic-Enabled Video Transmission over Packet Erasure Channel

2025 · · 数字语义编码与学习接收机

作者:Hao Chen; Wei Chen; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确认丢包是实时视频传输系统中的关键问题。 PDF p.1
  2. 仍然存在的问题:在丢包场景下,由于语义特征需要先转换为bitstream再封装成数据包,因此很难本地化丢失的语义特征。 PDF p.1 PDF p.2 PDF p.6
  3. 为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺乏本文随后引入的论文特有机制:这有效解决了传输带来的熵解码中的错误传播。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。 PDF p.1 PDF p.2 PDF p.6
  4. 为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了通过数据包擦除信道实现语义驱动视频传输。其具体设计总结如下:本文提出一种语义驱动的视频编码器,利用包擦除信道(PEC)模拟丢包条件,创建语义信息与数据包之间的映射。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,这有效解决了传输带来的熵解码错误传播问题。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,所提方案相比传统和基于人工智能的基准测试,在处理丢包场景时具有更优越的鲁棒性。 PDF p.3 PDF p.5 PDF p.6

系统怎么工作

该系统是视频传输或生成的端到端通信链路。本文提出了一种语义驱动的视频编码器,利用数据包消除信道(PEC)模拟丢包条件,创建语义信息与数据包之间的映射。这有效解决了传输带来的熵解码错误传播问题。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:其来源是视频帧或视频语义。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:这有效解决了传输带来的熵解码中的错误传播问题。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。 PDF p.1

实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.1 PDF p.2

接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是重建或生成的视频。 PDF p.1

它在通信系统的哪个位置

研究任务:视频传输或生成

所属环节:数字语义编码与学习接收机。在语义编码器和无线物理层之间加入量化、码本、bitstream 或学习式数字接收机。

给深度学习研究生的解释:相当于把 autoencoder 的 latent 真正变成可发送的离散对象;必须追踪 index/bit 错误怎样影响重建。

实际发送了什么,以及占多少通信资源

表示与数字化判断:显式数字语义表示:bit、离散 token 或码本 index

发送端发送量化比特、离散令牌或码本 index,而非无约束的连续潜在信号。这被归类为:显式数字语义表示:bit、离散 token 或码本 index。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:离散变量经数字链路传输;需检查残余 bit/index error

在拟议的传输路径中,信道处理方式如下:离散变量经数字链路传输;需检查残余位/索引误差。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收端实际上是从解码后的比特/索引或其噪声/软估计开始,随后进行语义量化和重建。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:H.265

指标:PSNR、SSIM、accuracy

信道:AWGN、Rayleigh、MIMO、erasure channel

实验使用论文中所述的源/任务数据集;与H.265比较;评估PSNR、SSIM和准确性;并使用AWGN、Rayleigh、MIMO擦除信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

实验结果显示,该方案在处理丢包情景时,比传统和基于人工智能的基准测试更具优势。 PDF p.3 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值在于把连续神经仿真推进到数字协议接口,并检验有限星座、误码和接收复杂度。

局限:虽已有数字接口,残余 bit/index 错误、有限码长开销、同步以及完整 PHY 兼容性仍需进一步验证。

Semantic-Enabled Video Transmission over Packet Erasure Channel 架构/方法页
Semantic-Enabled Video Transmission over Packet Erasure Channel,原 PDF 第 2 页(架构/方法页)。
Semantic-Enabled Video Transmission over Packet Erasure Channel 关键结果页
Semantic-Enabled Video Transmission over Packet Erasure Channel,原 PDF 第 4 页(关键结果页)。

Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding

2025 · IEEE Transactions on Wireless Communications · 调制/波形与数字物理层接口

作者:Yun Tian; Jingkai Ying; Zhijin Qin; Ye Jin; Xiaoming Tao

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已确立:尽管联合语义信道编码设计的语义通信在通过物理层信道传输不同模态数据方面表现出良好性能,但多模语义的同步和分组级前向错误更正(FEC)尚未得到充分研究。 PDF p.1
  2. 仍然存在的问题:许多已学习的语义链止于连续的潜在状态,导致量化、有限符号映射以及位/索引错误的后果超出学习设计范围。 PDF p.1 PDF p.2 PDF p.9
  3. 为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺乏本文随后引入的专用机制:由于语义编码器独立设计,同步语义域和时间域的多模态特征具有挑战性。 PDF p.1 PDF p.2 PDF p.9
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了带有分组级编码的同步多模态语义通信系统。其具体设计总结如下:我们提出一种语义编解码器,能以较低带宽实现类似重建质量。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,由于语义编码器设计独立,同步语义域和时间域的多模态特征具有挑战性。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:仿真结果显示,SyncSC在降低传输开销的同时,确保视频和语音在丢包网络上的高质量同步传输。 PDF p.5 PDF p.6 PDF p.9

系统怎么工作

该系统是图像传输或生成的端到端通信链路。我们提出了一种语义编码器,能以较低带宽实现类似重建质量。由于语义编码器的独立设计,同步语义域和时间域的多模特征具有挑战性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是输入图像。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:由于语义编码器设计独立,在语义域和时间域中同步多模态特征具有挑战性。 PDF p.1 PDF p.2

实际发送:传输对象是有限星座符号、OFDM/OTFS资源或受保护的数据包。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为调制符号或编码包经过有噪声物理层。 PDF p.1 PDF p.4 PDF p.11

接收端:接收端从均衡或软解调的符号开始,然后进行语义表示,并应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:调制/波形与数字物理层接口。决定语义表示如何变成有限星座、子载波、数据包或多天线信号。

给深度学习研究生的解释:这是神经网络 bottleneck 接到实际 modem 的位置;需要明确 bit、symbol、CSI、功率和误码。

实际发送了什么,以及占多少通信资源

表示与数字化判断:有限星座/标准波形接口

发送方发送有限星座符号、OFDM/OTFS资源或受保护数据包。这被归类为:有限星座/标准波形接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.8

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.8

信道怎样作用,接收端实际拿到什么

信道处理类别:调制符号或编码包经过有噪声物理层

在拟议的传输路径中,信道的处理方式如下:调制符号或编码包经过有噪声物理层。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.4 PDF p.11

接收端实际上是从均衡或软解调的符号开始,然后是语义表示。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.4 PDF p.11

实验设置与主要结论

数据集:VQA

Baseline:DeepJSCC、H.264、H.265、BERT、DeepSC

指标:PSNR、SSIM、LPIPS、BLEU、semantic similarity、latency、CLIP

信道:erasure channel

实验中使用VQA;与DeepJSCC、H.264、H.265、BERT、DeepSC比较;用PSNR、SSIM、LPIPS、蓝(BLEU)、语义相似性、延迟、CLIP来评估;并使用擦除信道。一个代表性的操作状态为:共有9734个培训视频片段和1500个测试句子级视频片段。2)超参数设置:在我们提出的同步语义通信系统中,视频包编码的码率可表示为 cr = Npv ×Dv M×Dp = Npv ⌊ Npv ×Dv n2p ⌋×Dv 。 PDF p.1 PDF p.4 PDF p.11

仿真结果表明,SyncSC在降低传输开销的同时,确保视频和语音在丢包网络上的高质量同步传输。 PDF p.5 PDF p.6 PDF p.9

通信审稿价值与 Codex 判断

价值在于补上可部署接口并量化频谱效率、误码、PAPR、CSI 或 MIMO 增益。

局限:虽已有数字接口,残余 bit/index 错误、有限码长开销、同步以及完整 PHY 兼容性仍需进一步验证。

Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding 架构/方法页
Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding,原 PDF 第 3 页(架构/方法页)。
Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding 关键结果页
Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding,原 PDF 第 8 页(关键结果页)。

A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks

2026 · IEEE Wireless Communications Letters · 联合信源信道编码(JSCC)与语义信源编码

作者:Zhe Lang; Jiting Shi; Qianyun Zhang; Zhenyu Guan; Lexi Xu; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1
  2. 仍然存在的问题:现有的通信设计并未在论文带宽和噪声信道约束下共同保留语义感知资源分配目标所需的语义内容。 PDF p.1 PDF p.4
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文专用机制:当数据通过语义编码器时,其语义特征被提取,然后通过信道编码器将特征转换为符号流X,该编码器表示为X = Cα(Sβ(m)),(1)其中Cα和Sβ表示参数设为α的信道编码器网络,参数设为β的语义编码器网络, 分别。 PDF p.1 PDF p.4
  4. 为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,本文开发了异构边缘端网络中的资源感知轻量级语义通信系统。其具体设计总结如下:论文开发了题目所述的方法:异构边缘端网络中的资源感知轻量级语义通信系统。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,当数据通过语义编码器时,其语义特征被提取出来,然后通过信道编码器将特征转换为符号流X,信道编码器表示为X = Cα(Sβ(m)),(1)其中Cα和Sβ表示参数为α的信道编码器网络,参数为β的语义编码器网络, 分别。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:为了在最小化性能下降的同时实现最佳模型压缩,我们引入推理准确率损失Lacc(SNR, φ)和复杂度损失Lcomp(φ),以平衡修剪模型的规模和性能。 PDF p.3 PDF p.4 PDF p.5

系统怎么工作

该系统是语义感知资源分配的端到端通信链路。本文发展了题为《异构边缘端网络中的资源感知轻量级语义通信系统》所描述的方法。当数据通过语义编码器时,其语义特征被提取出来,然后通过信道编码器将特征转换为符号流X,信道编码器表示为X = Cα(Sβ(m)),(1)其中Cα和Sβ表示参数为α的信道编码器网络,参数为β的语义编码器网络, 分别。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:来源是用户、任务及其信道/资源状态。 PDF p.1 PDF p.2

发送端:发送方应用论文中的语义/信源信道编码器:当数据通过语义编码器时,其语义特征被提取,然后通过信道编码器将特征转换为符号流X,该编码器表示为X = Cα(Sβ(m)),(1)其中Cα和Sβ表示参数设为α的信道编码器网络,参数设为β的语义编码器网络, 分别。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是资源分配策略及其产生的语义效用。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:语义感知资源分配

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建资源分配策略及其产生的语义效用。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepSC

指标:BLEU、accuracy

信道:AWGN、Rayleigh、fading channel

实验使用论文中所述的源/任务数据集;与DeepSC比较;用BLEU评估准确性;并使用AWGN、Rayleigh、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.4

为了在最小化性能下降的同时实现最佳模型压缩,我们引入推理精度损失Lacc(SNR, φ)和复杂度损失Lcomp(φ),以平衡修剪模型的规模和性能。 PDF p.3 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks 架构/方法页
A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks,原 PDF 第 2 页(架构/方法页)。
A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks 关键结果页
A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks,原 PDF 第 4 页(关键结果页)。

A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things

2026 · IEEE Transactions on Mobile Computing · 通信安全与隐私

作者:Weihao Zeng; Xinyu Xu; Qianyun Zhang; Jiting Shi; Zhenyu Guan; Shufeng Li; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明端到端语义编码器能够以比重建型链路更少的信道资源保存合法接收方所需的信息。 PDF p.1 PDF p.2 PDF p.3
  2. 仍然存在的问题:网络的分布性质和设备的异构性挑战了语义通信系统的安全利用。 PDF p.1 PDF p.8
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺少本文随后引入的论文专用机制:语义编码器负责将输入数据转换为有意义的语义特征。 PDF p.1 PDF p.8
  4. 为什么这个问题值得研究:这个问题很重要,因为语义质量必须在信道使用、功耗和延迟等真实预算下实现;否则,表面上的机器学习增益可能无法转化为通信系统的增益。 PDF p.1 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文开发了《异构物联网的安全高效分布式语义通信系统》。其具体设计总结如下:本文开发了题目所述的方法:一种针对异构物联网的安全高效分布式语义通信系统。 PDF p.1 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:因果联系在于语义编码器负责将输入数据转化为有意义的语义特征。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:它们在使用阶段为语义编解码器提供了与任务相关的背景知识,以实现更优异的通信性能。 PDF p.5 PDF p.6 PDF p.8

系统怎么工作

该系统是通用语义通信系统的端到端通信链路。论文开发了题目所述的方法:一种针对异构物联网的安全高效分布式语义通信系统。语义编码器负责将输入数据转换为有意义的语义特征。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是源数据和通信任务。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:语义编码器负责将输入数据转换为有意义的语义特征。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2 PDF p.3 PDF p.4

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建的内容或任务输出。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:通用语义通信系统

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3 PDF p.4 PDF p.6

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3 PDF p.4 PDF p.6

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3 PDF p.4

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建的内容或任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3 PDF p.4

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepSC

指标:BLEU、accuracy、latency

信道:AWGN、Rayleigh、Rician、fading channel

实验使用论文中所述的源/任务数据集;与DeepSC比较;用 BLEU 评估准确性、延迟;并使用AWGN、Rayleigh、Rician、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3 PDF p.4

它们在使用阶段为语义编解码器提供与任务相关的背景知识,以实现卓越的通信性能。 PDF p.5 PDF p.6 PDF p.8

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things 架构/方法页
A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things,原 PDF 第 2 页(架构/方法页)。
A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things 关键结果页
A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things,原 PDF 第 9 页(关键结果页)。

A hybrid bit and semantic communication system

2026 · Science China Information Sciences · 联合信源信道编码(JSCC)与语义信源编码

作者:Kaiwen Yu; Renhe Fan; Gang Wu; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1
  2. 仍然存在的问题:当前的联合信源信道编码(JSCC)方法将源内容从APP层直接映射到PHY层的符号以实现无线传输,这在标准化分层框架中带来了重大集成挑战,并阻碍了其实际部署。 PDF p.1 PDF p.2
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文特有机制:语义编码器被训练为将源数据Ms转换为语义特征,然后准备插入源图像中,用于比特级编码Mb,用于传统数字通信。 PDF p.1 PDF p.2
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了一种混合比特和语义通信系统。其具体设计总结如下:论文发展了标题所述的方法:一种混合比特和语义通信系统。 PDF p.1
  6. 方案为什么有可能起作用:因果联系在于,语义编码器被训练为将源数据 Ms 转换为语义特征,这些特征随后可以插入到源图像中,用于比特级编码 Mb,用于传统数字通信。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:语义通信被视为提升传输效率的潜在方法[1,2]。 PDF p.1 PDF p.2

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了标题所描述的方法:一种混合比特和语义通信系统。语义编码器被训练为将源数据 Ms 转换为语义特征,这些特征随后准备好插入源图像中,用于比特级编码 Mb,用于传统数字通信。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1

输入:源是输入图像。 PDF p.1

发送端:发送方应用论文的语义/信源信道编码器:语义编码器训练后将源数据Ms转换为语义特征,这些特征随后准备插入源图像中,用于比特级编码Mb,用于传统数字通信。 PDF p.1

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1 PDF p.2

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1

输出:最终输出是重建或生成的图像。 PDF p.1

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:BPG、LDPC

指标:PSNR、accuracy

信道:AWGN、Rayleigh、fading channel、OFDM

实验使用论文中所述的源/任务数据集;与BPG、LDPC比较;用PSNR评估准确性;并使用AWGN、Rayleigh、衰落信道、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

语义通信被视为提升传输效率的潜在方法[1,2]。 PDF p.1 PDF p.2

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

A hybrid bit and semantic communication system 架构/方法页
A hybrid bit and semantic communication system,原 PDF 第 1 页(架构/方法页)。
A hybrid bit and semantic communication system 关键结果页
A hybrid bit and semantic communication system,原 PDF 第 2 页(关键结果页)。

An Information-Theoretic Metric for Semantic Value of Spatiotemporal Information

2026 · IEEE INFOCOM 2026 - IEEE Conference on Computer Communications · 语义信息理论与性能度量

作者:Zijing Wang; Zhijin Qin; Siyu Lin; Wei Feng

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已确立语义通信研究产生了任务特定的扭曲和效用度量,为探讨哪些语义信息值得传递奠定了基础。 PDF p.2
  2. 仍然存在的问题:现有语义系统使用任务特定的准确性或重建分数,但缺乏比较不同系统语义信息效率所需的共同数量或界限。 PDF p.1 PDF p.2
  3. 为什么已有方法解决不了:早期系统可以报告任务准确性或重建质量,但如果没有提出的数量或界限,它们无法在通用的信息论基础上比较语义效率。缺失对象是一个定义和优化标准,而不是另一个神经网络块。更具体地说,早期的流程缺乏后面介绍的论文专用机制:论文发展了题目所述的方法:时空信息语义价值的信息理论度量。 PDF p.1 PDF p.2
  4. 为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文提出了《时空信息语义价值的信息论指标》。其具体设计总结如下:本文发展了题目所述的方法:时空信息语义价值的信息理论度量。 PDF p.2
  6. 方案为什么有可能起作用:因果关系在于,本文发展了题目所述的方法:时空信息语义价值的信息理论指标。所提定义使语义目标显式,因此可测量或优化。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验将拟议设计与在资源和信道匹配条件下的基线进行比较,同时测试最终质量和鲁棒性,而不仅仅是训练损失。 PDF p.5

系统怎么工作

该系统是语义信息度量与理论的端到端通信链路。论文发展了题目所述的方法:时空信息语义价值的信息理论度量。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源是一个源-任务-信道概率模型。 PDF p.1 PDF p.2

发送端:发送者应用论文的语义/信源信道编码器:论文发展了标题所述的方法:时空信息语义价值的信息理论指标。 PDF p.1 PDF p.2

实际发送:传输对象是由信息论模型定义的随机变量或语义消息。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为抽象信源—信道—语义失真模型;不对应一条具体神经收发链路。 PDF p.1 PDF p.2

接收端:接收方从定理中的抽象语义解码器或决策规则开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是一个界限、度量或优化原则。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:语义信息度量与理论

所属环节:语义信息理论与性能度量。定义语义信息、失真、价值或可达边界,为系统比较和优化提供共同坐标。

给深度学习研究生的解释:可以把它理解为给新的学习任务定义 loss 和 generalization bound;重点是定义是否可计算、是否与通信资源挂钩。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层理论工作:不单独定义可发送语义格式

发送方发送由信息论模型定义的随机变量或语义消息。这类分类为:上层理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:抽象信源—信道—语义失真模型;不对应一条具体神经收发链路

在拟议的传输路径中,信道处理方式如下:抽象信源—信道—语义失真模型;不对应一条具体神经收发链路。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2

接收者实际上是从定理中的抽象语义解码器或决策规则出发的。然后它重建了界限、度量或优化原则。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:论文未在结构化字段中明确列出

指标:论文未在结构化字段中明确列出

信道:抽象信源—信道—语义失真模型;不对应一条具体神经收发链路

实验使用论文中所述的源/任务数据集;与论文中标明的参考系统进行比较;用论文中描述的任务或重建指标进行评估;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2

实验将拟议设计与在资源和信道匹配条件下的基线进行比较,测试终端质量和鲁棒性,而不仅仅是训练损失。 PDF p.5

通信审稿价值与 Codex 判断

审稿价值来自可比较、可优化或可证明的语义通信指标,而不是单个数据集上的网络增益。

局限:该定义是否能在真实高维信源上计算、能否跨任务预测系统收益仍需验证;形式化指标本身不等于可部署的无线增益。

An Information-Theoretic Metric for Semantic Value of Spatiotemporal Information 架构/方法页
An Information-Theoretic Metric for Semantic Value of Spatiotemporal Information,原 PDF 第 2 页(架构/方法页)。
An Information-Theoretic Metric for Semantic Value of Spatiotemporal Information 关键结果页
An Information-Theoretic Metric for Semantic Value of Spatiotemporal Information,原 PDF 第 5 页(关键结果页)。

Diffusion-Enabled Secure Semantic Communication Against Eavesdropping

2026 · IEEE Transactions on Wireless Communications · 通信安全与隐私

作者:Boxiang He; Zihan Chen; Fanggang Wang; Shilian Wang; Zhijin Qin; Tony Q. S. Quek

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明端到端语义编码器能够以比重建型链路更少的信道资源保存合法接收方所需的信息。 PDF p.1 PDF p.2
  2. 仍然存在的问题:即使合法接收者重建良好,语义表示仍可能泄露源内容或控;仅限可靠性的设计无法量化这一威胁。 PDF p.1 PDF p.2 PDF p.3
  3. 为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺乏本文随后引入的论文特有机制:本文提出了一种新型扩散支持的安全语义通信,针对窃听,其中人工噪声(AN)和信道噪声映射到扩散模型的正向过程,而扩散模型的逆向过程则设计用于自适应地从接收到的噪声信号中生成详细语义信息(例如, 信道噪声)。 PDF p.1 PDF p.2 PDF p.3
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,论文开发了防窃听的扩散支持安全语义通信。其具体设计总结如下:论文发展了标题所描述的方法:扩散赋能的安全语义通信防止窃听。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,本文提出了一种新型的扩散支持的安全语义通信,针对窃听,其中人工噪声(AN)和信道噪声映射到扩散模型的正向过程,而扩散模型的反向过程则设计用于自适应地从接收到的噪声信号中生成详细语义信息,并结合AN和自然噪声(例如, 信道噪声)。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:在线演员网络的优化问题可以表述为最大θπ E(Q(̟ i, π(̟ i; θπ); θQ))。(45) 由于尺度因子 u 是连续可微的,我们可以通过以下链式得到关于 θπ 的梯度表达式,即 ∇θπE (Q(̟ i, π(̟ i; θπ); θQ)) (46) ≈E (∇θπQ(̟ i, π(̟ i; θπ); θQ)) (47) = E ∇π(̟ i;θπ)Q(̟ i, π(̟ i; θπ); θQ)∇θππ(̟ i; θπ) 。(48)为提升训练稳定性,DDPG训练采用三种策略。 PDF p.7 PDF p.10

系统怎么工作

该系统是图像传输或生成的端到端通信链路。论文发展了标题中所述的方法:扩散支持的安全语义通信防止窃听。本文提出了一种新型的扩散支持安全语义通信,防止窃听,其中人工噪声(AN)和信道噪声映射到扩散模型的正向过程,而扩散模型的反向过程则设计用以自适应地从接收到的噪声信号中生成详细语义信息,结合AN和自然噪声(例如, 信道噪声)。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用了论文中的语义/信源信道编码器:本文提出了一种新型扩散支持的安全语义通信,针对窃听,其中人工噪声(AN)和信道噪声映射到扩散模型的正向过程,而扩散模型的反向过程则设计用于自适应地从接收到的噪声信号中生成详细语义信息,并结合AN和自然噪声(例如, 信道噪声)。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2 PDF p.3

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:通信安全与隐私。把窃听、攻击或隐私泄露加入语义链路,联合考察合法接收性能与攻击者获得的信息。

给深度学习研究生的解释:latent 并不天然匿名;它可能仍可被反演或操控,因而要像评估对抗学习一样同时看合法端和攻击端。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:CIFAR-10、MNIST

Baseline:论文未在结构化字段中明确列出

指标:accuracy

信道:AWGN

实验使用CIFAR-10、MNIST;与论文中标明的参考系统进行比较;准确评估;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

在线演员网络的优化问题可以表述为最大θπ E(Q(̟ i, π(̟ i; θπ); θQ))。(45) 由于尺度因子 u 是连续可微的,我们可以通过以下链式得到关于 θπ 的梯度表达式,即 ∇θπE (Q(̟ i, π(̟ i; θπ); θQ)) (46) ≈E (∇θπQ(̟ i, π(̟ i; θπ); θQ)) (47) = E ∇π(̟ i;θπ)Q(̟ i, π(̟ i; θπ); θQ)∇θππ(̟ i; θπ) 。(48)为提升训练稳定性,DDPG训练采用三种策略。 PDF p.7 PDF p.10

通信审稿价值与 Codex 判断

价值在于给出可靠性、保密性、语义泄露和资源开销之间的可测权衡。

局限:威胁模型和攻击者知识通常是预先限定的;对自适应攻击、域外数据和真实无线实现的安全结论仍不能直接外推。

Diffusion-Enabled Secure Semantic Communication Against Eavesdropping 架构/方法页
Diffusion-Enabled Secure Semantic Communication Against Eavesdropping,原 PDF 第 3 页(架构/方法页)。
Diffusion-Enabled Secure Semantic Communication Against Eavesdropping 关键结果页
Diffusion-Enabled Secure Semantic Communication Against Eavesdropping,原 PDF 第 9 页(关键结果页)。

Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding

2026 · ICC 2026 - IEEE International Conference on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Jiafu He; Dingxi Yang; Yulong Feng; Yuan Shen; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明预训练生成模型能够从紧凑的语义条件重建合理的来源细节,表明可预测内容不必全部通过无线电链路传输。 PDF p.1
  2. 仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1 PDF p.2 PDF p.5
  3. 为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏本文中后来介绍的专属机制:论文开发了题目所述的方法:可推广的按像素三维高斯喷溅支持联合语义信道编码。 PDF p.1 PDF p.2 PDF p.5
  4. 为什么这个问题值得研究:这个问题很重要,因为XR和3D感知源极其庞大,而交互感应延迟。以更少的信道使用方式保留几何体或任务相关对象,直接提升了延迟和无线负载。 PDF p.1
  5. 本文怎样顺着问题提出方案:因此,论文开发了可推广的按像素3D高斯散画支持的联合语义信道编码。其具体设计总结如下:论文发展了题目所述的方法:可推广的像素方向3D高斯喷溅支持联合语义信道编码。 PDF p.1
  6. 方案为什么有可能起作用:其因果联系在于,本文发展了题目所述的方法:可推广的像素方向3D高斯散布支持联合语义信道编码。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:最后,在该遮蔽矢量与 y 之间进行元素乘积,以实现可变速率传输。 PDF p.4 PDF p.5

系统怎么工作

该系统是点云/三维场景传输的端到端通信链路。论文发展了题目所述的方法:可推广的按像素三维高斯散画支持的联合语义信道编码。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:其来源是点云或三维场景观测。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用了论文的语义/信源信道编码器:论文开发了题目所述的方法:可推广的按像素方向的3D高斯喷溅支持联合语义信道编码。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1 PDF p.2 PDF p.3

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建的三维内容或下游三维任务输出。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:点云/三维场景传输

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.5 PDF p.6

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.5 PDF p.6

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建的三维内容或下游三维任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:论文未在结构化字段中明确列出

Baseline:DeepJSCC、BPG、JPEG、LDPC、Turbo、SwinJSCC

指标:PSNR、CER、latency

信道:QAM

实验使用论文中所述的源/任务数据集;与DeepJSCC、BPG、JPEG、LDPC、Turbo、SwinJSCC进行比较;评估PSNR、CER和潜伏期;并使用QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

最后,在该遮蔽矢量与 y 之间进行逐元素乘积,以实现可变速率传输。 PDF p.4 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。

Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding 架构/方法页
Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding,原 PDF 第 2 页(架构/方法页)。
Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding 关键结果页
Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding,原 PDF 第 4 页(关键结果页)。

Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading

2026 · 2026 IEEE Wireless Communications and Networking Conference (WCNC) · 资源分配与跨层优化

作者:Qiankun Zhang; Zelin Ji; Yue Liu; Ze Song; Zhijin Qin

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明语义编码器和面向任务链路建立了速率-质量曲线,使得优化无线电和计算资源以对任务效用进行优化成为可能。 PDF p.2 PDF p.3
  2. 仍然存在的问题:由于带宽、延迟和能量限制,通过无人机与地面无线链路传输大量视觉数据依然具有挑战性。 PDF p.1 PDF p.5
  3. 为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏后来介绍的论文特有机制:尽管取得了这些进展,无人机轨迹的联合优化、语义符号调度以及在混合动作约束下的无线电资源分配仍未被充分探索。 PDF p.1 PDF p.5
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文开发了面向VQA的无人机语义卸载中资源分配的混合强化学习。其具体设计总结如下:论文开发了题目所述的方法:面向VQA的无人机语义卸载中的资源分配混合强化学习。 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:其因果关系在于,尽管取得了这些进展,但无人机轨迹的联合优化、语义符号调度以及在混合动作约束下的无线电资源分配方面仍未被充分探索。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:相比之下,HPPO实现了更平滑且稳步增长的学习曲线,展示了其稳健性和联合优化离散与连续动作的能力。 PDF p.5 PDF p.6

系统怎么工作

该系统是任务导向推理的端到端通信链路。本文发展了题为《面向VQA的无人机语义卸载中的资源分配混合强化学习》的方法。尽管取得了这些进展,无人机轨迹的联合优化、语义符号调度以及在混合动作约束下的无线电资源分配仍未被充分探索。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用了论文中的语义/信源信道编码器:尽管取得了这些进展,UAV轨迹的联合优化、语义符号调度以及在混合动作约束下的无线资源分配方面仍未被充分探索。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.1 PDF p.2 PDF p.3

接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:资源分配与跨层优化。把任务/语义质量映射为网络效用,再分配功率、带宽、算力或时延预算。

给深度学习研究生的解释:相当于外层优化器调用多个模型的 rate-quality 曲线;问题不只是训练网络,而是决定有限资源给谁。

实际发送了什么,以及占多少通信资源

表示与数字化判断:上层优化/理论工作:不单独定义可发送语义格式

发送方发送由底层系统模型定义的语义速率、任务效用或信道使用变量。这类格式被归类为:上层优化/理论工作:不单独定义可发送语义格式。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.3

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.3

信道怎样作用,接收端实际拿到什么

信道处理类别:沿用底层语义通信链路或抽象速率模型

在拟议的传输路径中,信道的处理方式如下:沿用底层语义通信链路或抽象速率模型。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1 PDF p.2 PDF p.3

接收端实际上是从系统模型中假设的接收机模型出发的。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1 PDF p.2 PDF p.3

实验设置与主要结论

数据集:VQA

Baseline:DeepSC

指标:accuracy、semantic similarity、latency、throughput、CLIP

信道:沿用底层语义通信链路或抽象速率模型

实验中使用VQA;与DeepSC比较;评估准确性、语义相似性、延迟、吞吐量和CLIP;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1 PDF p.2 PDF p.3

相比之下,HPPO实现了更平滑且稳步上升的学习曲线,展现了其稳健性和联合优化离散与连续动作的能力。 PDF p.5 PDF p.6

通信审稿价值与 Codex 判断

价值在于回答同一无线资源下系统能服务多少用户、达到怎样的公平性、时延和能效。

局限:优化依赖估计的 rate-quality 曲线和信道状态;信道估计误差、非平稳业务以及端到端推理开销仍是落地限制。

Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading 架构/方法页
Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading,原 PDF 第 1 页(架构/方法页)。
Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading 关键结果页
Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading,原 PDF 第 4 页(关键结果页)。

Meta-Curriculum Federated Learning for Adaptive Task-Oriented Semantic Communication

2026 · IEEE Wireless Communications Letters · 任务导向联合信源信道设计

作者:Shufeng Li; Baoliang Wu; Qianyun Zhang; Zhijin Qin

团队归属:指定团队负责人直接署名:Zhijin Qin

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究领域已确立任务导向语义通信(TOSC)设想了社交物联网(SIoT)中高效的信息交换。 PDF p.1 PDF p.2
  2. 仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1 PDF p.2 PDF p.4
  3. 为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺少本文随后引入的论文特有机制:发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。 PDF p.1 PDF p.2 PDF p.4
  4. 为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文开发了适应性任务导向语义通信的元课程联合学习。其具体设计总结如下:在论文中,我们提出了一个新框架,将元课程学习(MCL)融入联邦语义通信,以实现自适应且稳健的培训。 PDF p.1 PDF p.2
  6. 方案为什么有可能起作用:因果联系在于,发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1 PDF p.2
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,MCL在FedAvg和FedDF框架内的静态课程学习中,通信轮次减少了56%,证实了其在异构边缘网络中的可扩展性和可推广性。 PDF p.2 PDF p.4

系统怎么工作

该系统是任务导向推理的端到端通信链路。在论文中,我们提出了一个新框架,将元课程学习(MCL)融入联邦语义通信,以实现适应性和稳健的训练。发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2

输入:源数据是源数据以及一个下游任务。 PDF p.1 PDF p.2

发送端:发送方应用论文的语义/信源信道编码器:发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。 PDF p.1 PDF p.2

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1 PDF p.2

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1 PDF p.2

输出:最终输出是任务决策,而不一定是原始来源。 PDF p.1 PDF p.2

它在通信系统的哪个位置

研究任务:任务导向推理

所属环节:任务导向联合信源信道设计。只传下游任务所需信息,并把信道扰动纳入任务性能优化。

给深度学习研究生的解释:类似 split inference,但中间特征必须经过带宽受限且有噪声的无线信道,任务准确率是最终目标。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.4

实验设置与主要结论

数据集:CIFAR-10、CIFAR-100

Baseline:论文未在结构化字段中明确列出

指标:accuracy

信道:AWGN、Rayleigh、Rician、fading channel

实验使用CIFAR-10、CIFAR-100;与论文中标明的参考系统进行比较;准确评估;并使用AWGN、Rayleigh、Rician、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.4

模拟结果表明,MCL在FedAvg和FedDF框架内的静态课程学习中,通信轮次减少了56%,证实了其在异构边缘网络中的可扩展性和可推广性。 PDF p.2 PDF p.4

通信审稿价值与 Codex 判断

价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。

局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。

Meta-Curriculum Federated Learning for Adaptive Task-Oriented Semantic Communication 架构/方法页
Meta-Curriculum Federated Learning for Adaptive Task-Oriented Semantic Communication,原 PDF 第 2 页(架构/方法页)。
Meta-Curriculum Federated Learning for Adaptive Task-Oriented Semantic Communication 关键结果页
Meta-Curriculum Federated Learning for Adaptive Task-Oriented Semantic Communication,原 PDF 第 3 页(关键结果页)。

Multimodal Semantic Communication With Information-Theoretic Disentangled Representations

2026 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Fan Gao; Youzheng Wang; Zhijin Qin; Feifei Gao

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.2 PDF p.3
  2. 仍然存在的问题:现有的端到端框架将异构模态数据融合成单体表示,使得任务推断在信道受损下变得脆弱,在严格的资源约束下带宽分配效率低下。 PDF p.1 PDF p.2 PDF p.9
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来介绍的论文特有机制:还研究了由全局提示引导的交互式多模态系统,以实现模态间的灵活信息交互[17]。 PDF p.1 PDF p.2 PDF p.9
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.2 PDF p.3
  5. 本文怎样顺着问题提出方案:因此,本文发展了多模态语义通信与信息理论解缠表示。其具体设计总结如下:本文发展了题目所述的方法:多模态语义通信与信息理论解缠表示。 PDF p.2 PDF p.3
  6. 方案为什么有可能起作用:其因果联系在于,由全局提示引导的交互式多模态系统也被研究以实现模态间的灵活信息交互[17]。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1 PDF p.2 PDF p.3
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们的方法在所有信噪比(SNR)体系中始终优于所有基线方法,而传统方法在低信噪比下性能严重下降。 PDF p.9 PDF p.10

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文发展了题为《多模态语义通信与信息论解缠表示》所描述的方法。还研究了由全局提示引导的交互式多模态系统,以实现模态间的灵活信息交互[17]。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1 PDF p.2 PDF p.3

输入:源是输入图像。 PDF p.1 PDF p.2 PDF p.3

发送端:发送方应用论文的语义/信源信道编码器:还研究了由全局提示引导的交互式多模态系统,以实现模态间的灵活信息交互[17]。 PDF p.1 PDF p.2 PDF p.3

实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1 PDF p.2 PDF p.3

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.3 PDF p.4 PDF p.8

接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1 PDF p.2 PDF p.3

输出:最终输出是重建或生成的图像。 PDF p.1 PDF p.2 PDF p.3

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:语义 feature/latent;论文未给出完整量化到 bitstream 的接口

发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.2 PDF p.5

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.2 PDF p.5

信道怎样作用,接收端实际拿到什么

信道处理类别:信道接口报告不足或由传统链路抽象承担

在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3 PDF p.4 PDF p.8

接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3 PDF p.4 PDF p.8

实验设置与主要结论

数据集:VQA

Baseline:DeepJSCC、JPEG、LDPC、BERT、DeepSC、SwinJSCC

指标:PSNR、BLEU、accuracy、latency、CLIP

信道:AWGN、Rayleigh、fading channel、OFDM

实验中使用VQA;与DeepJSCC、JPEG、LDPC、BERT、DeepSC、SwinJSCC比较;使用PSNR、BLEU、准确率、延迟、CLIP进行评估;并使用AWGN、Rayleigh、衰落信道、OFDM。一个具有代表性的操作条件是:我们将压缩比(CR)定义为 CR = Nch Nraw ,其中 Nch 是每个样本传输信道符号的数量,Nraw 是原始多模输入大小。 PDF p.3 PDF p.4 PDF p.8

我们的方法在所有信噪比(SNR)范围内始终优于所有基线方法,而传统方法在低信噪比下性能严重下降。 PDF p.9 PDF p.10

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Multimodal Semantic Communication With Information-Theoretic Disentangled Representations 架构/方法页
Multimodal Semantic Communication With Information-Theoretic Disentangled Representations,原 PDF 第 1 页(架构/方法页)。
Multimodal Semantic Communication With Information-Theoretic Disentangled Representations 关键结果页
Multimodal Semantic Communication With Information-Theoretic Disentangled Representations,原 PDF 第 12 页(关键结果页)。

Robust Multimodal Semantic Communications with Semantic Fusion and Compensation

2026 · ICC 2026 - IEEE International Conference on Communications · 联合信源信道编码(JSCC)与语义信源编码

作者:Xiang Peng; Zhijin Qin; Xiaoming Tao; Jianhua Lu

团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。

Motivation|问题怎样一步步导出本文方法

  1. 现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.2
  2. 仍然存在的问题:由于物理和语义障碍,确保多模态语义通信的稳健性依然具有挑战性,而后者在这方面大多未被充分探索。 PDF p.1 PDF p.3 PDF p.5
  3. 为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:传输信号Tx是通过提出的多模联合语义信道编码器获得的,该编码由Tx = fj(Sm; θ)给出,其中fj(·; θ)是带有可训练参数θ的联合语义信道编码器。 PDF p.1 PDF p.3 PDF p.5
  4. 为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.2
  5. 本文怎样顺着问题提出方案:因此,本文提出了带有语义融合和补偿的强健多模态语义通信。其具体设计总结如下:论文开发了题目所述的方法:具有语义融合与补偿的强棒多模态语义通信。 PDF p.2
  6. 方案为什么有可能起作用:因果联系是 发射信号 Tx 是通过提出的多模联合语义信道编码器得到的,该编码由 Tx = fj(Sm; θ) 给出,其中 fj(·; θ) 是带有可训练参数 θ 的联合语义信道编码器。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.2 PDF p.5 PDF p.6
  7. 作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:它通过有效减轻物理信道和语义障碍的影响,持续优于基准测试,从而保持卓越的传输性能和系统可靠性。 PDF p.5

系统怎么工作

该系统是图像传输或生成的端到端通信链路。本文发展了题目所述的方法:《具有语义融合与补偿的强健多模态语义通信》。发射信号 Tx 是通过提出的多模联合语义信道编码器得到的,该编码器由 Tx = fj(Sm; θ) 给出,其中 fj(·; θ) 是联合语义信道编码器,参数为 θ。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.2 PDF p.5 PDF p.6

输入:源是输入图像。 PDF p.2 PDF p.5 PDF p.6

发送端:发送方应用论文中的语义/信源信道编码器:发射信号 Tx 是通过提出的多模联合语义信道编码器获得的,该编码由 Tx = fj(Sm; θ) 给出,其中 fj(·; θ) 是联合语义信道编码器,参数为可训练参数为 θ。 PDF p.2 PDF p.5 PDF p.6

实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.2 PDF p.5 PDF p.6

信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2 PDF p.3 PDF p.4

接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.2 PDF p.5 PDF p.6

输出:最终输出是重建或生成的图像。 PDF p.2 PDF p.5 PDF p.6

它在通信系统的哪个位置

研究任务:图像传输或生成

所属环节:联合信源信道编码(JSCC)与语义信源编码。在一个系统中共同设计压缩、语义保真和抗信道噪声机制。

给深度学习研究生的解释:可把它看成带真实信道瓶颈的 autoencoder;中间表示的维度、功率和噪声位置都是通信约束。

实际发送了什么,以及占多少通信资源

表示与数字化判断:连续神经 JSCC 信道符号(不属于严格数字语义通信)

发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1 PDF p.3 PDF p.4

通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1 PDF p.3 PDF p.4

信道怎样作用,接收端实际拿到什么

信道处理类别:带噪连续 latent/复信道符号端到端联合训练

在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2 PDF p.3 PDF p.4

接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2 PDF p.3 PDF p.4

实验设置与主要结论

数据集:VQA

Baseline:BPG、LDPC、DeepSC

指标:PSNR、LPIPS、BLEU、accuracy

信道:Rician、QAM

实验中使用VQA;与BPG、LDPC、DeepSC比较;评估PSNR、LPIPS、BLEU准确性;并使用Rician,QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2 PDF p.3 PDF p.4

它通过有效减轻物理信道和语义障碍的影响,持续优于基准测试,从而保持卓越的传输性能和系统可靠性。 PDF p.5

通信审稿价值与 Codex 判断

价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。

局限:收益主要在基准数据与仿真信道上建立;若论文没有额外实验证据,量化、分包、标准兼容和空口验证仍不完整。

Robust Multimodal Semantic Communications with Semantic Fusion and Compensation 架构/方法页
Robust Multimodal Semantic Communications with Semantic Fusion and Compensation,原 PDF 第 2 页(架构/方法页)。
Robust Multimodal Semantic Communications with Semantic Fusion and Compensation 关键结果页
Robust Multimodal Semantic Communications with Semantic Fusion and Compensation,原 PDF 第 4 页(关键结果页)。

排除与边界记录

这些条目在检索中出现,但因预印本、综述/愿景、MDPI、主题边界或被期刊扩展版取代而未进入核心表。

年份标题原因
2021Semantic Communication Systems for Speech Transmission非正式期刊/会议技术论文类型:preprint
2021Semantic Communications for Speech Recognition非正式期刊/会议技术论文类型:preprint
2021Semantic Communications: Principles and Challenges非正式期刊/会议技术论文类型:preprint
2021Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems非正式期刊/会议技术论文类型:preprint
2021Task-Oriented Multi-User Semantic Communications非正式期刊/会议技术论文类型:preprint
2021Task-Oriented Multi-User Semantic Communications for Multimodal Data非正式期刊/会议技术论文类型:preprint
2021Task-Oriented Multi-User Semantic Communications for VQA Task非正式期刊/会议技术论文类型:preprint
2021Task-Oriented Semantic Communications for Multimodal Data.非正式期刊/会议技术论文类型:preprint
2022A Robust Deep Learning Enabled Semantic Communication System for Text非正式期刊/会议技术论文类型:preprint
2022A Unified Multi-Task Semantic Communication System for Multimodal Data非正式期刊/会议技术论文类型:preprint
2022A Unified Multi-Task Semantic Communication System with Domain Adaptation非正式期刊/会议技术论文类型:preprint
2022Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications综述、教程、愿景或编者按,非正式技术研究论文
2022Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications非正式期刊/会议技术论文类型:preprint
2022Deep Learning Enabled Semantic Communications with Speech Recognition and Synthesis非正式期刊/会议技术论文类型:preprint
2022Guest Editorial Special Issue on Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications非正式期刊/会议技术论文类型:editorial
2022QoE-Aware Resource Allocation for Semantic Communication Networks非正式期刊/会议技术论文类型:preprint
2022Resource allocation for text semantic communications非正式期刊/会议技术论文类型:preprint
2022Robust Semantic Communications Against Semantic Noise非正式期刊/会议技术论文类型:preprint
2022Robust Semantic Communications with Masked VQ-VAE Enabled Codebook非正式期刊/会议技术论文类型:preprint
2022Semantic Communication for Internet of Vehicles: A Multi-User Cooperative Approach非正式期刊/会议技术论文类型:preprint
2022Semantic Sensing and Communications for Ultimate Extended Reality非正式期刊/会议技术论文类型:preprint
2022Vector Quantized Semantic Communication System非正式期刊/会议技术论文类型:preprint
2023A GAN-based Semantic Communication for Text without CSI非正式期刊/会议技术论文类型:preprint
2023A Generalized Semantic Communication System: from Sources to Channels非正式期刊/会议技术论文类型:preprint
2023Adaptive Resource Allocation for Semantic Communication Networks非正式期刊/会议技术论文类型:preprint
2023Compression Ratio Learning and Semantic Communications for Video Imaging非正式期刊/会议技术论文类型:preprint
2023Computing Networks Enabled Semantic Communications非正式期刊/会议技术论文类型:preprint
2023QoE-based Semantic-Aware Resource Allocation for Multi-Task Networks非正式期刊/会议技术论文类型:preprint
2023Semantic Communication with Memory非正式期刊/会议技术论文类型:preprint
2023Semantic Communications with Variable-Length Coding for Extended Reality非正式期刊/会议技术论文类型:preprint
2023Vector Quantized Semantic Communication System非正式期刊/会议技术论文类型:preprint
2024A Robust Semantic Communication System for Image非正式期刊/会议技术论文类型:preprint
2024Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative Networks非正式期刊/会议技术论文类型:preprint
2024Hybrid Bit and Semantic Communications非正式期刊/会议技术论文类型:preprint
2024Hybrid Digital-Analog Semantic Communications非正式期刊/会议技术论文类型:preprint
2024Intellicise Wireless Networks From Semantic Communications: A Survey, Research Issues, and Challenges综述、教程、愿景或编者按,非正式技术研究论文
2024IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation非正式期刊/会议技术论文类型:preprint
2024Robust Semantic Communications for Speech Transmission非正式期刊/会议技术论文类型:preprint
2024Semantic Communication based on Large Language Model for Underwater Image Transmission非正式期刊/会议技术论文类型:preprint
2024Semantic communications: Theories, technologies and applications综述、教程、愿景或编者按,非正式技术研究论文
2024Semantic MIMO Systems for Speech-to-Text Transmission非正式期刊/会议技术论文类型:preprint
2024Synchronous Multi-modal Semantic Communication System with Packet-level Coding非正式期刊/会议技术论文类型:preprint
2024Towards Intelligent Communications: Large Model Empowered Semantic Communications非正式期刊/会议技术论文类型:preprint
2025A Robust Image Semantic Communication System With Multi-Scale Vision Transformer综述、教程、愿景或编者按,非正式技术研究论文
2025Adaptive Sampling and Joint Semantic-Channel Coding under Dynamic Channel Environment非正式期刊/会议技术论文类型:preprint
2025Deep Learning Enabled Semantic Communications非正式期刊/会议技术论文类型:book
2025Enabling Green Wireless Communications with Neuromorphic Continual Learning非正式期刊/会议技术论文类型:preprint
2025Image Semantic Communication with Quadtree Partition-based Coding非正式期刊/会议技术论文类型:preprint
2025Knowledge Distillation Driven Semantic NOMA for Image Transmission with Diffusion Model非正式期刊/会议技术论文类型:preprint
2025Large Speech Model Enabled Semantic Communication非正式期刊/会议技术论文类型:preprint
2025Multi-Task Semantic Communications via Large Models正式出版但缺少可核验算法/实验贡献,归入背景材料
2025Multi-Task Semantic Communications via Large Models非正式期刊/会议技术论文类型:preprint
2025Semantic-Driven AI Agent Communications: Challenges and Solutions非正式期刊/会议技术论文类型:preprint
2025Ten challenges in semantic communications综述、教程、愿景或编者按,非正式技术研究论文
2026Goal-oriented communications for future cyber–physical systems正式出版但缺少可核验算法/实验贡献,归入背景材料
2026Semantic Communications非正式期刊/会议技术论文类型:book
2021Semantic Communications for Speech Recognition存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis (IEEE TWC, 2023)
2021Semantic Communications for Speech Signals存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Semantic Communication Systems for Speech Transmission (IEEE JSAC, 2021)
2021Toward Wisdom-Evolutionary and Primitive-Concise 6G: A New Paradigm of Semantic Communication Networks全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2022A Robust Deep Learning Enabled Semantic Communication System for Text存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:A Robust Semantic Text Communication System (IEEE TWC, 2024)
2022A Unified Multi-Task Semantic Communication System with Domain Adaptation存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:A Unified Multi-Task Semantic Communication System for Multimodal Data (IEEE TCOM, 2024)
2023A Generalized Semantic Communication System: From Sources to Channels全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2023Mem-DeepSC: A Semantic Communication System with Memory存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Semantic Communication With Memory (IEEE JSAC, 2023)
2023Multimedia Semantic Communications: Representation, Encoding and Transmission全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2023Semantic Communication for the Internet of Vehicles: A Multiuser Cooperative Approach全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2023Semantic-Aware Speech-to-Text Transmission Over MIMO Channels存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Semantic MIMO Systems for Speech-to-Text Transmission (IEEE TWC, 2024)
2024AI Empowered Wireless Communications: From Bits to Semantics全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2024Computing Networks Enabled Semantic Communications全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2024Hybrid Digital-Analog Joint Semantic-Channel Coding for Image Transmission存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Hybrid Digital-Analog Semantic Communications (IEEE JSAC, 2025)
2024Synchronous Semantic Communications for Video and Speech存在同团队、同方法家族且作者高度重合的正式期刊扩展版;按既定口径由期刊版取代:Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding (IEEE TWC, 2025)
2024Toward Intelligent Communications: Large Model Empowered Semantic Communications全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2025Balancing Security and Efficiency in GAI-Driven Semantic Communication: Challenges, Solutions, and Future Paths全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2025On the Role of Semantic Communication in Non-Terrestrial Networks全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2026Semantic Communication Enabled Holographic Video Processing and Transmission全文属于综述、愿景、教程、项目/范式说明或挑战讨论,缺少本次口径要求的独立技术方法与可核验实验;转入背景清单
2023Energy-Efficient Task Offloading for Semantic-Aware Networks会议版本被 IEEE TWC 期刊扩展版 Resource Optimization for Semantic-Aware Networks With Task Offloading 取代

方法与责任说明

书目元数据通过 OpenAlex、DOI 和出版页面核验;逐篇技术结论以本地 PDF 页码证据为准。自动定位不到可靠证据时明确标为待人工核查,不用摘要填充“阅读全文”结论。

AI Disclosure:本报告使用 AI 辅助完成检索、全文定位、结构化提取和网页生成;所有可核验论断均保留 DOI 或 PDF 页码入口。