现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1PDF p.2PDF p.3
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1PDF p.3PDF p.9
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文专用机制:具体来说,我们考虑的分布式语义通信系统包括以下三个步骤:1)模型初始化/更新:云端/边缘平台首先通过初始数据集训练语义通信模型。 PDF p.1PDF p.3PDF p.9
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,论文开发了《物联网的轻量分布式语义通信系统》。其具体设计总结如下:论文发展了标题所描述的方法:《一种轻量分布式语义通信系统:物联网》。 PDF p.1PDF p.2PDF p.3
方案为什么有可能起作用:其因果联系在于,我们所考虑的分布式语义通信系统包含以下三个步骤:1)模型初始化/更新:云端/边缘平台首先通过初始数据集训练语义通信模型。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:同时,DL技术也可用于提升信道估计的表现[36],[37]。 PDF p.5PDF p.8PDF p.9
系统怎么工作
该系统是图像传输或生成的端到端通信链路。论文发展了标题所描述的方法:《物联网轻量分布式语义通信系统》。具体来说,我们考虑的分布式语义通信系统包括以下三个步骤:1)模型初始化/更新:云/边缘平台首先通过初始数据集训练语义通信模型。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:具体来说,我们考虑的分布式语义通信系统包括以下三个步骤:1)模型初始化/更新:云端/边缘平台首先通过初始数据集训练语义通信模型。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.3PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
A Lite Distributed Semantic Communication System for Internet of Things,原 PDF 第 1 页(架构/方法页)。A Lite Distributed Semantic Communication System for Internet of Things,原 PDF 第 8 页(关键结果页)。
Deep Learning Enabled Semantic Communication Systems
2021 · IEEE Transactions on Signal Processing · 联合信源信道编码(JSCC)与语义信源编码
作者:Huiqiang Xie; Zhijin Qin; Geoffrey Ye Li; Biing‐Hwang Juang
现有进展:在本文之前,相关研究已确立,近年来,深度学习支持的端到端通信系统已被开发出来,将传统通信系统中的所有物理层块合并,从而实现联合收发器优化。 PDF p.1PDF p.2
仍然存在的问题:此外,这些应用需要支持大规模连接且频谱资源有限,但延迟较低,这对传统的信源信道编码构成了关键挑战。 PDF p.1PDF p.2PDF p.8
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文特有机制:具体来说,发射器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以便后续传输。 PDF p.1PDF p.2PDF p.8
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文发展了深度学习赋能语义通信系统。其具体设计总结如下:具体来说,我们提出了一种基于深度学习的语义通信系统,名为DeepSC,用于文本传输。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于,发射器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以促进后续传输。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:与不考虑语义信息交换的传统通信系统相比,拟议的DeepSC对信道变化更具鲁棒性,能够实现更好的性能,尤其是在低信噪比(SNR)区域,这一点由广泛的仿真结果所证明。 PDF p.5PDF p.6PDF p.8
系统怎么工作
该系统是图像传输或生成的端到端通信链路。特别是,我们提出了一种基于深度学习的语义通信系统,名为DeepSC,用于文本传输。具体来说,发射器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以便后续传输。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:具体来说,发送器由一个语义编码器组成,用于从待传输文本中提取语义特征,以及一个信道编码器,用于生成符号以便后续传输。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.3PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
这些实验使用Europarl;与Turbo、BERT、DeepSC比较;评估标准为PSNR、蓝图(BLEU)、准确性、语义相似性、延迟、BER、SER;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、擦除信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2PDF p.3PDF p.4
与不考虑语义信息交换的传统通信系统相比,所提的DeepSC对信道变化更具鲁棒性,能够实现更好的性能,尤其是在低信噪比(SNR)区间,这一点由广泛的仿真结果所证明。 PDF p.5PDF p.6PDF p.8
现有进展:在此之前,相关研究已证明语义通信通过探索语义信息可以显著提升传输效率。 PDF p.1PDF p.2PDF p.3
仍然存在的问题:即使支持DL的通信系统在某些场景和条件下提供了更好的性能和/或更低的复杂度,其最先进的模型主要关注比特或符号层面的性能提升,通常以比特错误率(BER)或符号错误率(SER)作为性能指标。 PDF p.1PDF p.8
为什么已有方法解决不了:位级目标将每个位错误视为同一事件,无法确定更改的位是否改变了句子意义、语音清晰度或任务决策。添加更强的常规代码可能会降低BER,但并不能直接优化语义扭曲。更具体地说,早期的流程缺乏本文随后引入的论文专用机制:注意力机制背后的动机是在训练神经网络时,通过赋予重要的语音信息更高的权重来识别它们。 PDF p.1PDF p.8
为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,本文开发了语音传输的语义通信系统。其具体设计总结如下:具体来说,我们设计了一个支持深度学习(DL)的语音信号语义通信系统,名为DeepSC-S。 PDF p.1PDF p.2PDF p.3
方案为什么有可能起作用:因果关系在于,注意力机制背后的动机是在训练神经网络时,通过赋予其更高权重来识别关键语音信息。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,我们提出的DeepSC-S在语音信号指标(如信号与失真比和语音失真感知评估)方面均优于传统通信。 PDF p.4PDF p.5PDF p.6
系统怎么工作
该系统是语音/音频传输或识别的端到端通信链路。特别是,我们设计了一个支持深度学习(DL)的语音信号语义通信系统,名为DeepSC-S。这种注意力机制背后的动机,是在训练神经网络时通过赋予它们更高的权重来识别关键语音信息。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:信号来源是语音或音频。 PDF p.1PDF p.2PDF p.3
发送端:发送者应用论文的语义/信源信道编码器:注意力机制背后的动机是在训练神经网络时通过赋予重要言语信息更高的权重来识别它们。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
实验使用论文中所述的源/任务数据集;与DeepJSCC、Turbo、DeepSC比较;评估准确性、潜伏期、BER、SER;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4
模拟结果表明,我们提出的DeepSC-S在语音信号指标(如信号与失真比和语音失真感知评估)方面均优于传统通信。 PDF p.4PDF p.5PDF p.6
现有进展:在这篇论文之前,相关研究领域已经确立了语义通信侧重于语义特征的传递。 PDF p.1PDF p.2
仍然存在的问题:大多数语义编解码器设计为点对点链路,不利用跨用户语义关联,也不共同处理异构信道、干扰和用户公平性。 PDF p.1PDF p.2PDF p.4
为什么已有方法解决不了:为每个用户独立运行点对点语义编解码器,会忽略共享内容、异构信道、干扰和公平性。因此,一旦用户共享同一媒介,单用户最优方案不必是可行或频谱高效的。更具体地说,已有链路缺少本文随后引入的论文特有机制:具体来说,MU-DeepSC的收发器是联合设计和优化的,用于捕获相关多模态数据中的特征,用于任务导向传输。 PDF p.1PDF p.2PDF p.4
为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了面向任务的多用户语义通信(VQA)。其具体设计总结如下:为了利用多用户多模态数据之间的相关性,我们提出了一个深度神经网络支持的语义通信系统,名为MU-DeepSC,以执行视觉问答(VQA)任务为例。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,MU-DeepSC的收发器是联合设计和优化的,用于捕获相关多模态数据中的特征,用于任务导向传输。跨用户相关性和异构链接现在形成了联合传输的表示,而非重复的独立消息。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提议的MU-DeepSC对信道变化的鲁棒性优于传统通信系统,尤其是在低信噪比(SNR)区域。 PDF p.3PDF p.4PDF p.5
系统怎么工作
该系统是任务导向推理的端到端通信链路。为了利用多用户多模态数据之间的相关性,我们提出了一个名为MU-DeepSC的深度神经网络支持语义通信系统,用于执行视觉问答(VQA)任务。具体来说,MU-DeepSC的收发器是联合设计和优化的,用于从相关多模态数据中捕获特征,以实现面向任务的传输。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源数据是源数据以及一个下游任务。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:具体来说,MU-DeepSC的收发器是联合设计和优化的,用于捕获相关多模态数据中的特征,用于任务导向传输。 PDF p.1PDF p.2
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.3
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
Task-Oriented Multi-User Semantic Communications for VQA,原 PDF 第 2 页(架构/方法页)。Task-Oriented Multi-User Semantic Communications for VQA,原 PDF 第 3 页(关键结果页)。
QoE-Aware Resource Allocation for Semantic Communication Networks
现有进展:在此之前,相关研究领域已确立,为了完成智能任务,语义通信仅传输任务相关信息,从而显著提升性能优于传统通信。 PDF p.3PDF p.5PDF p.6
仍然存在的问题:现有方案通常通过比特率或平均失真来固定或优化无线资源,但未反映用户和样本在任务层面的语义值差异。 PDF p.1PDF p.5PDF p.6
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺少本文随后引入的论文专用机制:第二个是信道分配和功耗分配子问题,该问题被建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。 PDF p.1PDF p.5PDF p.6
为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.3PDF p.5PDF p.6
本文怎样顺着问题提出方案:因此,本文开发了语义通信网络的QoE感知资源分配。其具体设计总结如下:论文开发了题目所述的方法:语义通信网络的QoE感知资源分配。 PDF p.3PDF p.5PDF p.6
方案为什么有可能起作用:因果联系是 第二个是信道分配与功耗分配子问题,该子问题被建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.3PDF p.5
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示该方法在整体服务质量方面的有效性和优越性。 PDF p.4PDF p.6
系统怎么工作
该系统是语义感知资源分配的端到端通信链路。本文发展了题目所描述的方法:语义通信网络的QoE感知资源分配。第二个是信道分配与功率分配子问题,将其建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.3PDF p.5
输入:来源是用户、任务及其信道/资源状态。 PDF p.1PDF p.3PDF p.5
发送端:发送方应用论文中的语义/信源信道编码器:第二个是信道分配与功耗分配子问题,将其建模为多对一匹配博弈,并由提出的低复杂度匹配算法求解。 PDF p.1PDF p.3PDF p.5
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.3PDF p.5
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.5
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.3PDF p.5
QoE-Aware Resource Allocation for Semantic Communication Networks,原 PDF 第 2 页(架构/方法页)。QoE-Aware Resource Allocation for Semantic Communication Networks,原 PDF 第 5 页(关键结果页)。
Resource Allocation for Text Semantic Communications
现有进展:在这篇论文之前,相关研究已经证明语义通信在提升传输可靠性方面展现了巨大潜力,尤其是在低信噪比领域。 PDF p.2PDF p.4
仍然存在的问题:语义通信的资源分配仍未被充分探索,这对于保障语义传输的可靠性和通信效率至关重要。 PDF p.1PDF p.5
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏本文随后引入的论文特有机制:具体来说,以文本语义通信为例,首次定义了语义频谱效率(S-SE),用于优化信道分配和传输语义符号数量的资源分配。 PDF p.1PDF p.5
为什么这个问题值得研究:问题之所以重要,是因为少量符号错误可能会改变整个句子的含义。因此,可靠性必须通过恢复的意义或下游语言任务质量来判断,而不仅仅是比特错误率。 PDF p.2PDF p.4
本文怎样顺着问题提出方案:因此,论文发展了文本语义通信的资源分配。其具体设计总结如下:本文发展了标题所述的方法:文本语义通信的资源分配。 PDF p.2PDF p.4
方案为什么有可能起作用:因果联系在于 具体来说,以文本语义通信为例,首次定义了语义谱效率(S-SE),用于优化资源分配,包括信道分配和传输语义符号数量。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.2PDF p.4
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果证明了所提资源分配方法的有效性和可行性,以及语义通信在S-SE方面的优越性。 PDF p.2PDF p.3PDF p.4
系统怎么工作
该系统是文本传输/机器翻译的端到端通信链路。论文发展了题目所述的方法:文本语义通信资源分配。具体来说,以文本语义通信为例,首次定义了语义谱效率(S-SE),用于优化资源分配,包括信道分配和传输语义符号数量。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.4
输入:源是一个句子或标记序列。 PDF p.1PDF p.2PDF p.4
发送端:发送方应用论文的语义/信源信道编码器:具体来说,以文本语义通信为例,首次定义语义频谱效率(S-SE),用于优化资源分配,包括信道分配和传输语义符号数量。 PDF p.1PDF p.2PDF p.4
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.2PDF p.4
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.2PDF p.3
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.4
现有进展:在此之前,相关研究已证明,尽管语义通信在大量任务中表现出满意表现,但语义噪声的影响及系统的鲁棒性尚未被充分研究。 PDF p.1PDF p.2
仍然存在的问题:由于语义噪声极其微妙,合法用户几乎察觉不到,他们会像往常一样使用这些受污染的图片。 PDF p.1PDF p.2PDF p.6
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:为了进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计一个由发射端和接收端共享的离散码本,用于编码特征表示。 PDF p.1PDF p.2PDF p.6
为什么这个问题值得研究:这个问题很重要,因为语义质量必须在信道使用、功耗和延迟等真实预算下实现;否则,表面上的机器学习增益可能无法转化为通信系统的增益。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文发展了《针对语义噪声的强健语义通信》。其具体设计总结如下:论文发展了标题所述的方法:《针对语义噪声的强健语义通信》。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,为了进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计出发送端和接收端共享的离散码本,用于编码特征表示。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,我们提出的方法显著提升了语义通信系统对语义噪声的鲁棒性,并显著降低了传输开销。 PDF p.3PDF p.6
系统怎么工作
该系统是通用语义通信系统的端到端通信链路。论文发展了题目所述的方法:《针对语义噪声的强健语义通信》。为了进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计了发送端和接收端共享的离散码本,用于编码特征表示。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是源数据和通信任务。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:为进一步提升语义通信系统的鲁棒性,我们首先采用矢量量化-变分自编码器(VQ-VAE)设计一个由发送端和接收端共享的离散码本,用于编码特征表示。 PDF p.1PDF p.2
实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.2PDF p.3
接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.3PDF p.5PDF p.7
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.3PDF p.5PDF p.7
信道怎样作用,接收端实际拿到什么
信道处理类别:带噪连续 latent/复信道符号端到端联合训练
在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.5
接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.5
实验设置与主要结论
数据集:论文未在结构化字段中明确列出
Baseline:DeepJSCC、DeepSC
指标:accuracy、latency、throughput
信道:AWGN、Rayleigh
实验使用论文中所述的源/任务数据集;与DeepJSCC、DeepSC比较;评估准确性、延迟和吞吐量;并使用AWGN,雷利。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.5
实验结果显示,在相同条件下,该方法比其他语义显著性学习方法显著提升分类准确率超过4%。 PDF p.7PDF p.10
通信审稿价值与 Codex 判断
价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。
局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。
Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems,原 PDF 第 1 页(架构/方法页)。Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems,原 PDF 第 6 页(关键结果页)。
Task-Oriented Multi-User Semantic Communications
2022 · IEEE Journal on Selected Areas in Communications · 多用户接入、广播或中继
作者:Huiqiang Xie; Zhijin Qin; Xiaoming Tao; Khaled B. Letaief
现有进展:在此之前,相关研究方向已确立:我们将语音识别和语音合成分别作为通信系统的传输任务。 PDF p.1PDF p.2
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,并未共同保留语音/音频传输或识别目标所需的语义内容。 PDF p.1PDF p.3PDF p.11
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:首先,语音识别相关的语义特征被联合语义信道编码器提取用于传输,文本则根据接收到的语义特征在接收端恢复,这大大减少了所需的数据传输量,同时不影响性能。 PDF p.1PDF p.3PDF p.11
为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文发展了深度学习赋能的语义通信与语音识别和合成技术。其具体设计总结如下:本文开发了一套基于深度学习的语音传输语义通信系统,名为DeepSC-ST。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,首先,语音识别相关的语义特征被联合语义信道编码器提取出来传输,文本则根据接收到的语义特征在接收端恢复,这大大减少了所需的数据传输量,同时不影响性能。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,拟议的DeepSC-ST在低信噪比(SNR)区域内显著优于传统通信系统和现有支持DL的通信系统。 PDF p.9PDF p.11PDF p.13
系统怎么工作
该系统是语音/音频传输或识别的端到端通信链路。本文开发了一套基于深度学习的语音传输语义通信系统,名为DeepSC-ST。首先,语音识别相关的语义特征被联合语义信道编码器提取用于传输,文本则根据接收到的语义特征在接收端恢复,这大大减少了所需的数据传输量,同时不影响性能。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:信号来源是语音或音频。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:首先,语音识别相关的语义特征被联合语义信道编码器提取出来传输,接收端则根据接收到的语义特征恢复文本,这大大减少了所需的数据传输量,同时不影响性能。 PDF p.1PDF p.2
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.5PDF p.6PDF p.7
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis,原 PDF 第 4 页(架构/方法页)。Deep Learning Enabled Semantic Communications With Speech Recognition and Synthesis,原 PDF 第 9 页(关键结果页)。
Robust Semantic Communications With Masked VQ-VAE Enabled Codebook
2023 · IEEE Transactions on Wireless Communications · 数字语义编码与学习接收机
作者:Qiyu Hu; Guangyi Zhang; Zhijin Qin; Yunlong Cai; Guanding Yu; Geoffrey Ye Li
现有进展:在此之前,相关研究领域已确立:尽管语义通信在大量任务中表现出令人满意的表现,但语义噪声的影响及系统的鲁棒性尚未被充分研究。 PDF p.1PDF p.2
仍然存在的问题:许多已学习的语义链止于连续的潜在状态,导致量化、有限符号映射以及位/索引错误的后果超出学习设计范围。 PDF p.1PDF p.6PDF p.10
为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺乏本文随后引入的论文专用机制:然后,我们提出对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量化变分自编码器(VQ-VAE)。 PDF p.1PDF p.6PDF p.10
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了带有掩蔽VQ-VAE支持码本的强健语义通信。其具体设计总结如下:然后,我们提议对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于。然后,我们提出对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提方法可应用于许多下游任务,显著提升了对语义噪声的鲁棒性,显著降低了传输开销。 PDF p.6PDF p.7PDF p.8
系统怎么工作
该系统是图像传输或生成的端到端通信链路。然后,我们计划对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是输入图像。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:然后,我们提议对输入中语义噪声频繁出现的部分进行掩蔽,并设计带有噪声相关掩蔽策略的掩蔽矢量量化变分自编码器(VQ-VAE)。 PDF p.1PDF p.2
实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.3PDF p.5
接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
发送端发送量化比特、离散令牌或码本 index,而非无约束的连续潜在信号。这被归类为:显式数字语义表示:bit、离散 token 或码本 index。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1PDF p.2PDF p.3
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1PDF p.2PDF p.3
信道怎样作用,接收端实际拿到什么
信道处理类别:离散变量经数字链路传输;需检查残余 bit/index error
在拟议的传输路径中,信道处理方式如下:离散变量经数字链路传输;需检查残余位/索引误差。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3PDF p.5
接收端实际上是从解码后的比特/索引或其噪声/软估计开始,随后进行语义量化和重建。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3PDF p.5
实验设置与主要结论
数据集:CIFAR-10、ImageNet、MNIST
Baseline:DeepJSCC、JPEG、LDPC
指标:accuracy、semantic similarity、latency、BER、SER
信道:AWGN、MIMO、QAM
实验使用CIFAR-10、ImageNet、MNIST;与DeepJSC、JPEG、LDPC进行比较;评估准确性、语义相似性、延迟性、BER、SER;并使用AWGN、MIMO、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3PDF p.5
模拟结果表明,该方法可应用于许多下游任务,显著提升了对语义噪声的鲁棒性,同时显著降低了传输开销。 PDF p.6PDF p.7PDF p.8
发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.4PDF p.5
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.4PDF p.5
信道怎样作用,接收端实际拿到什么
信道处理类别:带噪连续 latent/复信道符号端到端联合训练
在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1PDF p.2PDF p.3
接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的内容或任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1PDF p.2PDF p.3
实验设置与主要结论
数据集:论文未在结构化字段中明确列出
Baseline:DeepJSCC、Turbo、BERT、DeepSC
指标:accuracy
信道:AWGN、Rayleigh、Rician、fading channel、QAM
实验使用论文中所述的源/任务数据集;与DeepJSCC、Turbo、BERT、DeepSC比较;准确评估;并使用AWGN、Rayleigh、Rician、衰落信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1PDF p.2PDF p.3
数值结果显示,所提出的Mem-DeepSC在答案准确性和传输效率(即传输符号数量)方面优于基准测试。 PDF p.5PDF p.6PDF p.7
现有进展:在本文之前,相关研究已证明无线扩展现实(XR)作为一种有前景的技术,能够提升用户的移动性和体验质量,受到广泛关注。 PDF p.1PDF p.2
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1PDF p.2PDF p.9
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:特别是,我们首先使用速率分配网络估计语义信息的最佳代码长度,然后相应调整编码过程。 PDF p.1PDF p.2PDF p.9
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文提出了可变长度编码的扩展现实语义通信。其具体设计总结如下:为克服这一挑战,我们开发了一个语义通信框架,在语义编码器中对语义上不重要的信息进行高度压缩或丢弃,显著提升传输效率。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于,我们首先使用速率分配网络来估算语义信息的最佳代码长度,然后相应调整编码过程。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果显示,我们的语义系统显著优于传统传输方法,且所提出的变长编码方案优于固定长度编码方法。 PDF p.9PDF p.10
系统怎么工作
该系统是图像传输或生成的端到端通信链路。为克服这一挑战,我们开发了一个语义通信框架,在语义编码器中对语义编码器中不重要的信息进行高度压缩或丢弃,显著提升了传输效率。特别是,我们首先使用速率分配网络来估算语义信息的最佳代码长度,然后相应调整编码过程。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:具体来说,我们首先使用速率分配网络来估算语义信息的最佳代码长度,然后相应调整编码过程。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1PDF p.3
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Semantic Communications With Variable-Length Coding for Extended Reality,原 PDF 第 2 页(架构/方法页)。Semantic Communications With Variable-Length Coding for Extended Reality,原 PDF 第 10 页(关键结果页)。
Semantic-Aware Image Compressed Sensing
2023 · 2023 IEEE 33rd International Workshop on Machine Learning for Signal Processing (MLSP) · 联合信源信道编码(JSCC)与语义信源编码
作者:Bowen Zhang; Zhijin Qin; Geoffrey Ye Li
团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。
现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1PDF p.3
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:论文开发了题目中描述的方法:语义感知图像压缩感知。 PDF p.1PDF p.3
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
本文怎样顺着问题提出方案:因此,该论文发展了语义感知图像压缩传感。其具体设计总结如下:论文发展了题目所述的方法:语义感知图像压缩感知。 PDF p.1
方案为什么有可能起作用:因果联系在于,论文开发了题目中描述的方法:语义感知图像压缩感知。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:从图中看,SemBCS 的性能仍稳步提升于 FixBCS,表明所提 semnaticaware 操作在不同数据集上的通用性。 PDF p.5
系统怎么工作
该系统是图像传输或生成的端到端通信链路。论文发展了题目所述的方法:语义感知图像压缩感知。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1
输入:源是输入图像。 PDF p.1
发送端:发送者应用论文的语义/信源信道编码器:论文开发了标题所述的方法:语义感知图像压缩感知。 PDF p.1
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1
现有进展:在本文发表之前,相关研究已确立语义通信被视为下一代通信系统缓解频谱资源短缺和网络拥堵的有前景解决方案。 PDF p.1
仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1PDF p.2PDF p.5
为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,早期的流程缺少本文随后引入的论文专用机制:具体来说,我们首先设计了一个基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。 PDF p.1PDF p.2PDF p.5
为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1
本文怎样顺着问题提出方案:因此,论文基于结构化场景图开发了面向任务的可解释语义通信。其具体设计总结如下:本研究提出基于场景图的新颖任务导向语义通信框架,名为DeepSC-SG。 PDF p.1
方案为什么有可能起作用:因果联系在于,我们首先设计了一个基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,与传统通信系统相比,DeepSC-SG对信道变化具有相当的鲁棒性,传统通信系统在实现下游智能任务如图像检索方面具有巨大潜力,且传输数据体积显著缩小。 PDF p.3PDF p.4PDF p.5
系统怎么工作
该系统是任务导向推理的端到端通信链路。在本研究中,我们提出了一种基于场景图的新颖任务导向语义通信框架,名为DeepSC-SG。具体来说,我们首先设计了一个基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1
输入:源数据是源数据以及一个下游任务。 PDF p.1
发送端:发送方应用论文的语义/信源信道编码器:具体来说,我们首先设计了基于场景图的语义编码器,它从输入图像中提取可解释的场景图语义,并将语义编码为信息化的图嵌入。 PDF p.1
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4PDF p.5
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1
发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1PDF p.6
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1PDF p.6
信道怎样作用,接收端实际拿到什么
信道处理类别:带噪连续 latent/复信道符号端到端联合训练
在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4PDF p.5
接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4PDF p.5
实验设置与主要结论
数据集:Flickr30k、VQA
Baseline:JPEG、LDPC、BERT、DeepSC
指标:accuracy
信道:AWGN、Rayleigh、Rician、QAM
实验使用Flickr30k、VQA;与JPEG、LDPC、BERT、DeepSC进行比较;准确评估;并使用AWGN、Rayleigh、Rician、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4PDF p.5
模拟结果表明,所提议的DeepSC-SG对信道变化具有相当的鲁棒性,相比传统通信系统,传统通信系统在实现下游智能任务如图像检索方面具有巨大潜力,且传输数据体积显著缩小。 PDF p.3PDF p.4PDF p.5
通信审稿价值与 Codex 判断
价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。
局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。
Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs,原 PDF 第 2 页(架构/方法页)。Task-Oriented Explainable Semantic Communications Based on Structured Scene Graphs,原 PDF 第 4 页(关键结果页)。
Task-Oriented Semantic Communications for Speech Transmission
现有进展:在此之前,相关研究领域已确立语义通信仅通过传输必要信息在接收端执行智能任务。 PDF p.1PDF p.2
仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1PDF p.4
为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺乏本文随后引入的论文专用机制:特别是,Xie 等人[4] 对 DL 支持的语义通信进行了开创性研究,并提出了一种名为 DeepSC 的新型语义编码器,用于实现文本传输所需的语义特征。 PDF p.1PDF p.4
为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文开发了语音传输的任务导向语义通信。其具体设计总结如下:本文介绍了TOS-ST,一种面向任务的语音传输语义通信系统,高效地服务接收端的语义任务,包括语音转文本和语音转语音翻译。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,特别是,Xie等人[4]对DL支持的语义通信进行了开创性研究,并提出了一种名为DeepSC的新型语义编码器,用于实现文本传输的语义特征。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,TOS-ST的性能优于传统语音传输系统,并且在对信道干扰方面表现出更高的鲁棒性。 PDF p.2PDF p.4PDF p.5
系统怎么工作
该系统是语音/音频传输或识别的端到端通信链路。本文介绍了TOS-ST,一种面向任务的语音传输语义通信系统,高效地服务接收端的语义任务,包括语音转文本和语音转语音翻译。特别是,Xie 等人[4]对DL支持的语义通信进行了开创性研究,并引入了一种名为DeepSC的新型语义编码器,用于实现文本传输的语义特征。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:信号来源是语音或音频。 PDF p.1PDF p.2
发送端:发送方应用了论文的语义/信源信道编码器:特别是,Xie 等人[4] 对 DL 支持的语义通信进行了开创性研究,并引入了一种名为 DeepSC 的新型语义编码器,用于实现文本传输的语义特征。 PDF p.1PDF p.2
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.3
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2
信道怎样作用,接收端实际拿到什么
信道处理类别:带噪连续 latent/复信道符号端到端联合训练
在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2PDF p.3
接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2PDF p.3
实验设置与主要结论
数据集:LibriSpeech
Baseline:DeepSC
指标:BLEU、accuracy、latency、BER
信道:AWGN、Rayleigh、fading channel
实验使用LibriSpeech;与DeepSC比较;用BLEU、准确率、延迟、BER(标准化标准)评估;并使用AWGN、Rayleigh、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2PDF p.3
根据模拟结果,TOS-ST的性能优于传统语音传输系统,并且对信道受损具有更高的鲁棒性。 PDF p.2PDF p.4PDF p.5
通信审稿价值与 Codex 判断
价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。
局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。
Task-Oriented Semantic Communications for Speech Transmission,原 PDF 第 2 页(架构/方法页)。Task-Oriented Semantic Communications for Speech Transmission,原 PDF 第 5 页(关键结果页)。
A GAN-Based Semantic Communication for Text Without CSI
2024 · IEEE Transactions on Wireless Communications · 联合信源信道编码(JSCC)与语义信源编码
作者:Jin Mao; Ke Xiong; Ming Liu; Zhijin Qin; Wei Chen; Pingyi Fan; Khaled B. Letaief
这些实验使用Europarl;与BPG、BERT比较;用BLEU、准确性、语义相似度、SER、CLIP等方法进行评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1PDF p.2
如果没有CSI,Ti-GSC在Rician和Rayleigh衰落方面,Ti-GSC所获得的BLEU分数分别比现有SC框架高出约40%和62%。 PDF p.8PDF p.9
A GAN-Based Semantic Communication for Text Without CSI,原 PDF 第 2 页(架构/方法页)。A GAN-Based Semantic Communication for Text Without CSI,原 PDF 第 8 页(关键结果页)。
A Robust Semantic Communication System for Image Transmission
现有进展:在本文之前,相关研究已证明语义通信作为解决传输瓶颈的有前景方法,尤其是在6G技术持续发展的背景下,已获得广泛关注。 PDF p.1PDF p.2
仍然存在的问题:通过拥抱这一创新优化目标,语义通信能够有效减少传输的数据量,从而成功缓解通信网络中快速数据增长带来的挑战[2]。 PDF p.1PDF p.5
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:语义通信作为解决传输瓶颈的有前景方法而备受关注,尤其是在6G技术持续发展的背景下。 PDF p.1PDF p.5
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了《图像传输的稳健语义通信系统》。其具体设计总结如下:具体来说,我们提出了一种新颖的语义障碍强度指标,并开发语义障碍数据集。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果关系在于,语义通信作为解决传输瓶颈的有前景方法而受到广泛关注,尤其是在6G技术持续发展的背景下。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,在不同语义障碍强度下,DeepSC-RI表现更优。 PDF p.4PDF p.5PDF p.6
系统怎么工作
该系统是图像传输或生成的端到端通信链路。具体来说,我们提出了一种新的指标来量化语义障碍的强度,并开发了语义障碍数据集。语义通信作为解决传输瓶颈的有前景方法而备受关注,尤其是在6G技术持续发展的背景下。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是输入图像。 PDF p.1PDF p.2
发送端:发送方应用论文中的语义/信源信道编码器:语义通信作为解决传输瓶颈的有前景方法,尤其随着6G技术的持续发展,这一方法备受关注。 PDF p.1PDF p.2
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1PDF p.2PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
A Robust Semantic Communication System for Image Transmission,原 PDF 第 2 页(架构/方法页)。A Robust Semantic Communication System for Image Transmission,原 PDF 第 4 页(关键结果页)。
A Robust Semantic Text Communication System
2024 · IEEE Transactions on Wireless Communications · 任务导向联合信源信道设计
作者:Xiang Peng; Zhijin Qin; Xiaoming Tao; Jianhua Lü; Lajos Hanzo
现有进展:在此之前,相关研究领域已确立语义通信日益被视为提升传输效率的有前景解决方案。 PDF p.1
仍然存在的问题:语义通信不仅容易受到物理信道障碍的影响,还容易受到语义障碍的影响,这会降低接收端的语义理解并干扰相关的下游任务。 PDF p.1PDF p.9
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺乏本文随后引入的论文特有机制:因此,我们将重点放在语义通信对语义障碍的鲁棒性上。 PDF p.1PDF p.9
为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1
本文怎样顺着问题提出方案:因此,本文开发了《稳健语义文本通信系统》。其具体设计总结如下:随后,我们提出一个稳健的深度学习支持语义通信系统(R-DeepSC),通过引入一个用于稳健语义编码的语义校正器,以促进语义传输。 PDF p.1
方案为什么有可能起作用:因果联系在于,因此我们关注语义通信对语义障碍的鲁棒性。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.3PDF p.5
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们的实验结果表明,所提出的R-DeepSC和NA-RDeepSC架构在消除语义障碍方面具有更优异的鲁棒性,因此凸显了本研究在推动稳健语义通信发展中的重要性。 PDF p.5PDF p.6PDF p.9
系统怎么工作
该系统是任务导向推理的端到端通信链路。随后,我们提出了一个稳健的深度学习赋能语义通信系统(R-DeepSC),通过引入一个用于强健语义编码的语义校正器,以促进语义传递。因此,我们关注语义通信对语义障碍的鲁棒性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.3PDF p.5
输入:源数据是源数据以及一个下游任务。 PDF p.1PDF p.3PDF p.5
发送端:发送者应用论文的语义/信源信道编码器:因此,我们关注语义通信对语义障碍的稳健性。 PDF p.1PDF p.3PDF p.5
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.3PDF p.5
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1PDF p.3PDF p.4
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.3PDF p.5
实验中使用了Europarl、LibriSpeech;与LDPC、BERT、DeepSC比较;用BLEU、BERTScore、准确性、语义相似性进行评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1PDF p.3PDF p.4
我们的实验结果表明,所提出的R-DeepSC和NA-RDeepSC架构在消除语义障碍方面具有更优越的鲁棒性,因此凸显了本研究在推动稳健语义通信发展中的重要性。 PDF p.5PDF p.6PDF p.9
现有进展:在此之前,相关研究领域已证明任务导向语义通信已实现显著的性能提升。 PDF p.1PDF p.2
仍然存在的问题:语义通信中使用的深度神经网络在任务变更时必须更新,或者需要存储多个模型以执行不同任务。 PDF p.1PDF p.3PDF p.12
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺少了本文随后引入的论文特有机制:为了减少传输开销,我们设计了一个统一的特征代码本,以服务多个任务,只传输代码本中这些任务特定特征的索引。 PDF p.1PDF p.3PDF p.12
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了《多模态数据的统一多任务语义通信系统》。其具体设计总结如下:为解决这一问题,我们开发了一个统一的深度学习赋能语义通信系统(U-DeepSC),一个统一的端到端框架能够以多种数据模式服务多种任务。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,为了减少传输开销,我们设计了一个统一的特征代码手册,以服务多个任务,只传输代码本中这些任务特定特征的索引。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,拟议的U-DeepSC实现了与针对特定任务设计的面向任务语义通信系统相当的性能,同时显著降低了传输开销和模型规模。 PDF p.6PDF p.7PDF p.8
系统怎么工作
该系统是图像传输或生成的端到端通信链路。为解决这一问题,我们开发了一个统一的深度学习赋能语义通信系统(U-DeepSC),一个统一的端到端框架能够以多种数据模式服务多种任务。为了降低传输开销,我们设计了一个统一的特征代码本,以服务多项任务,仅传输代码本中这些任务特定特征的索引。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是输入图像。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:为减少传输开销,我们设计了一个统一的特征代码手册,以服务多项任务,且仅传输代码本中这些任务特定特征的索引。 PDF p.1PDF p.2
实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.3PDF p.4PDF p.7
接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
实验使用CIFAR-10、SST-2;可与DeepJSC、JPEG、LDPC、Turbo、H.264、BERT、DeepSC进行比较;用PSNR、BLEU、准确性、延迟评估;并使用AWGN、Rayleigh、衰落信道、OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3PDF p.4PDF p.7
根据模拟结果,拟议的U-DeepSC实现了与为特定任务设计的面向任务语义通信系统相当的性能,同时显著降低了传输开销和模型规模。 PDF p.6PDF p.7PDF p.8
A Unified Multi-Task Semantic Communication System for Multimodal Data,原 PDF 第 3 页(架构/方法页)。A Unified Multi-Task Semantic Communication System for Multimodal Data,原 PDF 第 11 页(关键结果页)。
Adaptive Resource Allocation for Semantic Communication Networks
2024 · IEEE Transactions on Communications · 资源分配与跨层优化
现有进展:在本文之前,相关研究领域已明确指出,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。 PDF p.1PDF p.2PDF p.3
仍然存在的问题:在有限的频谱资源下有效处理超大规模连接并实现智能应用,是第六代(6G)无线通信系统开发的重大挑战[2]、[3]。 PDF p.1PDF p.11
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺少了本文随后引入的论文特有机制:具体来说,SBQ是一种混合的统一-非统一量化方法,旨在促进语义与位之间的编码。 PDF p.1PDF p.11
为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.1PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,本文提出了语义通信网络的自适应资源分配。其具体设计总结如下:本文提出一种具语义比量化(SBQ)的自适应语义资源分配范式,兼容现有无线通信,解决语义度量与传输度量之间额外映射关系带来的环境感知不准确问题。 PDF p.1PDF p.2PDF p.3
方案为什么有可能起作用:其因果联系在于,具体来说,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:与基于映射的范式资源分配方案相比,我们提出的自适应方案在SC-QoS方面可实现高达13%的性能提升。 PDF p.6PDF p.10PDF p.11
系统怎么工作
该系统是语义感知资源分配的端到端通信链路。本文提出一种具有语义比量化(SBQ)的自适应语义资源分配范式,兼容现有无线通信,解决语义度量与传输度量之间额外映射关系带来的环境感知不准确问题。具体来说,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:来源是用户、任务及其信道/资源状态。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:具体来说,SBQ是一种混合的均匀-非统一量化方法,旨在促进语义与比特之间的编码。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.2PDF p.10
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Adaptive Resource Allocation for Semantic Communication Networks,原 PDF 第 3 页(架构/方法页)。Adaptive Resource Allocation for Semantic Communication Networks,原 PDF 第 9 页(关键结果页)。
Compression Ratio Learning and Semantic Communications for Video Imaging
2024 · IEEE Journal of Selected Topics in Signal Processing · 联合信源信道编码(JSCC)与语义信源编码
现有进展:在本文之前,相关研究领域已经确立了提升移动机器人在有限电力、内存和带宽资源下的数据采集和传输效率至关重要。 PDF p.1PDF p.2PDF p.3
仍然存在的问题:对于电力、内存和带宽资源有限的移动机器人,提升数据采集和传输效率至关重要。 PDF p.1PDF p.4
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文专用机制:编码器中的特征映射依次通过一个按谱方向的注意力块(SAB)、一个步幅为2的变异(用于下采样)、一个SAB和一个步幅为2的变异。 PDF p.1PDF p.4
为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,论文提出了视频成像的压缩比学习与语义通信。其具体设计总结如下:论文开发了题目所述的方法:视频成像的压缩比学习与语义通信。 PDF p.1PDF p.2PDF p.3
方案为什么有可能起作用:因果联系在于编码器中的特征映射依次经过一个按谱的注意力块(SAB)、一个步幅为2的变动(用于下采样)、一个SAB和一个步幅为2的变换。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果显示所提方法优于现有基线。 PDF p.8PDF p.9PDF p.11
系统怎么工作
该系统是视频传输或生成的端到端通信链路。论文发展了题为《视频成像的压缩比学习与语义通信》所描述的方法。编码器中的特征映射依次经过一个按谱方向的注意力块(SAB)、一个步幅为2的变形(用于下采样)、一个SAB和一个步幅为2的变形。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:其来源是视频帧或视频语义。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:编码器中的特征映射依次通过一个按谱方向的注意力块(SAB)、一个步幅为2的变异(用于下采样)、一个SAB和一个步幅为2的变异。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1PDF p.6PDF p.7
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Compression Ratio Learning and Semantic Communications for Video Imaging,原 PDF 第 2 页(架构/方法页)。Compression Ratio Learning and Semantic Communications for Video Imaging,原 PDF 第 9 页(关键结果页)。
Computational Offloading in Semantic-Aware Cloud-Edge-End Collaborative Networks
2024 · IEEE Journal of Selected Topics in Signal Processing · 资源分配与跨层优化
现有进展:在本文之前,相关研究已经证明大规模连接的趋势推动了终端设备的爆炸性增长。 PDF p.2PDF p.5
仍然存在的问题:现有方案通常通过比特率或平均失真来固定或优化无线资源,但未反映用户和样本在任务层面的语义值差异。 PDF p.1PDF p.3PDF p.7
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏本文随后引入的论文专用机制:各种应用的出现促使了对普遍连接性和更高效计算范式的需求。 PDF p.1PDF p.3PDF p.7
为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.2PDF p.5
本文怎样顺着问题提出方案:因此,本文在语义感知云端协作网络中发展了计算卸载。其具体设计总结如下:本文发展了题目所述的方法:语义感知云端协作网络中的计算卸载。 PDF p.2PDF p.5
方案为什么有可能起作用:其因果关系在于,各种应用的出现促使了对普及连接性和更高效计算范式的需求。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.2PDF p.5
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:数值结果表明,所提出的DRLH框架在稳定所有队列的同时,在能耗方面实现了近乎最佳的性能。 PDF p.10
系统怎么工作
该系统是语义感知资源分配的端到端通信链路。论文发展了题目所描述的方法:语义感知云端协作网络中的计算卸载。各种应用的出现促使人们对无处不在的连接性和更高效的计算范式的需求。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.5
输入:来源是用户、任务及其信道/资源状态。 PDF p.1PDF p.2PDF p.5
发送端:发送者应用论文的语义/信源信道编码器:各种应用的出现促使了对普及连接性和更高效计算范式的需求。 PDF p.1PDF p.2PDF p.5
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.2PDF p.5
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.5
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.5
现有进展:在此之前,相关研究已证明Learned联合信源信道编码在匹配训练和测试条件下,已相较于固定分离的管道实现端到端优势。 PDF p.1PDF p.2
仍然存在的问题:为单一带宽或信道条件训练的语义编码器具有固定表示,且在工作点变化时无法重新分配速率和保护。 PDF p.1PDF p.2PDF p.6
为什么已有方法解决不了:为单一带宽、信噪比或信道分布训练的模型具有固定的瓶颈和保护模式。当操作条件发生变化时,使用相同表示法进行重复推断无法为变得脆弱的信息重新分配速率或冗余。更具体地说,已有链路缺乏本文随后引入的论文特有机制:近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。 PDF p.1PDF p.2PDF p.6
为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文开发了基于深度学习的CTU拆分和动态GOP调整,以实现语义感知视频压缩。其具体设计总结如下:论文开发了题目所述的方法:基于深度学习的CTU拆分与语义感知视频压缩的动态GOP调整。 PDF p.1PDF p.2
方案为什么有可能起作用:因果关系在于,近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。表示或保护模式可以随着操作条件变化而变化,而非训练后保持固定。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:此外,如果视频中的场景长时间保持相对静止,会插入一对性能提升不大的I帧,这实际上会影响压缩效率。 PDF p.3PDF p.5PDF p.6
系统怎么工作
该系统是视频传输或生成的端到端通信链路。该论文发展了题目所述的方法:基于深度学习的CTU拆分与动态GOP调整以实现语义感知视频压缩。近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:其来源是视频帧或视频语义。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:近年来语义通信的快速发展促使我们从语义信息的角度优化视频压缩[3]。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1PDF p.2PDF p.3
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1PDF p.2PDF p.3
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1PDF p.2PDF p.3
信道怎样作用,接收端实际拿到什么
信道处理类别:信道接口报告不足或由传统链路抽象承担
在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1PDF p.2PDF p.3
接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建或生成的视频。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1PDF p.2PDF p.3
实验设置与主要结论
数据集:论文未在结构化字段中明确列出
Baseline:H.264、H.265
指标:PSNR、accuracy、latency
信道:信道接口报告不足或由传统链路抽象承担
实验使用论文中所述的源/任务数据集;与H.264、H.265比较;用PSNR评估准确性、延迟;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1PDF p.2PDF p.3
此外,如果视频中的场景长时间保持相对静止,会插入一对性能提升不大的I帧,这实际上会影响压缩效率。 PDF p.3PDF p.5PDF p.6
通信审稿价值与 Codex 判断
价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。
局限:适配只在有限的带宽/信道范围内验证;控制信令、在线稳定性及超出训练范围后的外推仍不确定。
Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression,原 PDF 第 2 页(架构/方法页)。Deep Learning-Based CTU Splitting and Dynamic GOP Adjusting for Semantic Aware Video Compression,原 PDF 第 6 页(关键结果页)。
IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation
2024 · IEEE Transactions on Wireless Communications · 通信安全与隐私
现有进展:在此之前,相关研究领域已确立,学习任务导向语义通信在优化传输效率方面起着关键作用,通过提取和传达针对特定任务(如图像重建和分类)量身定制的关键语义。 PDF p.2PDF p.5
仍然存在的问题:由于无线通信的开放性质,窃听的挑战对语义隐私构成了巨大威胁。 PDF p.1PDF p.2PDF p.4
为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺乏后来引入的论文特有机制:具体来说,利用多层码本离散化连续语义特征,并描述不同位数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。 PDF p.1PDF p.2PDF p.4
为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.2PDF p.5
本文怎样顺着问题提出方案:因此,本文发展了《IRS增强安全语义通信网络:跨层与上下文防护资源分配》。其具体设计总结如下:为实现人工智能(AI)原生的安全通信,我们提出基于噪声干扰增强的混合深度强化学习(NdeHDRL)资源分配方案。 PDF p.2PDF p.5
方案为什么有可能起作用:其因果联系在于,具体来说,多层码本被用来离散化连续语义特征,并描述不同位数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,我们提出的方案在提升安全性能和S-SSE方面,相较于多个基准方案,具有效率。 PDF p.18PDF p.19PDF p.20
系统怎么工作
该系统是语义感知资源分配的端到端通信链路。为实现人工智能(AI)原生安全通信,我们提出了一种基于噪声干扰增强的混合深度强化学习(NdeHDRL)资源分配方案。具体来说,多层码本被用来离散连续语义特征,并描述不同比特数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:来源是用户、任务及其信道/资源状态。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:具体来说,利用多层码本离散化连续语义特征,并描述不同位数的语义,从而满足对层级语义表示的需求,进一步提升传输效率。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.9PDF p.21PDF p.25
接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
实验使用ImageNet;与BPG、JPEG2000、Turbo相比;用SSIM、MS-SSIM、LPIPS、准确性、语义相似性、延迟来评估;并使用AWGN、Rayleigh、Rician、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.9PDF p.21PDF p.25
模拟结果显示,我们提出的方案在提升安全性能和S-SSE方面,相较于多个基准方案,表现出显著的效率。 PDF p.18PDF p.19PDF p.20
IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation,原 PDF 第 6 页(架构/方法页)。IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation,原 PDF 第 20 页(关键结果页)。
QoE-Based Semantic-Aware Resource Allocation for Multi-Task Networks
2024 · IEEE Transactions on Wireless Communications · 资源分配与跨层优化
现有进展:在此之前,相关研究领域已证明,仅通过传输任务相关信息,语义通信相较传统通信带来显著的性能提升。 PDF p.1PDF p.2PDF p.4
仍然存在的问题:缺乏成熟的语义信息量化和性能评估的语义理论,使得在语义通信中执行资源分配具有挑战性,尤其是在网络中多个任务共存时。 PDF p.1PDF p.7PDF p.10
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏本文随后引入的论文专用机制:然后,我们开发了一个新的QoE模型,用语义压缩、信道分配和发射功率来表述语义感知资源分配。 PDF p.1PDF p.7PDF p.10
为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.1PDF p.2PDF p.4
本文怎样顺着问题提出方案:因此,本文开发了基于QoE的多任务网络语义感知资源分配。其具体设计总结如下:为应对这一挑战,本文提出了一种基于体验质量(QoE)的语义感知资源分配方法,用于多任务网络。 PDF p.1PDF p.2PDF p.4
方案为什么有可能起作用:因果联系在于,我们开发了一个新的QoE模型,用语义感知资源分配,涵盖语义压缩、信道分配和发射功率。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:两种通信技术用户对资源分配的需求不同,因此实现语义感知资源分配“兼容性”的第一步是在同一层次评估这两种通信技术。 PDF p.6PDF p.8PDF p.10
系统怎么工作
该系统是语义感知资源分配的端到端通信链路。为应对这一挑战,本文提出了一种基于体验质量(QoE)的语义感知资源分配方法,应用于多任务网络。随后,我们开发了一个新的QoE模型,以语义压缩、信道分配和发射功率来制定语义感知资源分配。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:来源是用户、任务及其信道/资源状态。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:然后,我们开发了一个新的QoE模型,以语义压缩、信道分配和发射功率来表述语义感知资源的分配。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.9
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
现有进展:在此之前,相关研究已证明语义编码器和面向任务链路建立了速率-质量曲线,使得优化无线电和计算资源以对任务效用进行优化成为可能。 PDF p.1PDF p.2PDF p.3
仍然存在的问题:上行信道带宽有限,可能会增加任务传输延迟,并影响计算卸载性能。 PDF p.1PDF p.8
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺少本文随后引入的论文特有机制:注意联合语义与信道(JSC)编码器及JSC译码器也实现了将提取的语义特征映射到物理信道可传输的复杂信号。 PDF p.1PDF p.8
为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.1PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,本文开发了带有任务卸载的语义感知网络资源优化。其具体设计总结如下:论文开发了题目所述的方法:《带任务卸载的语义感知网络资源优化》。 PDF p.1PDF p.2PDF p.3
方案为什么有可能起作用:因果联系是 注意,联合语义与信道(JSC)编码器和JSC译码器也被实现为将提取的语义特征映射到物理信道可传输的复杂信号。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:实际上,对于彼此差异较小的近端政策,应考虑以往经验以提升培训效率。 PDF p.6PDF p.7PDF p.8
系统怎么工作
该系统是语义感知资源分配的端到端通信链路。论文发展了题为《带任务卸载的语义感知网络资源优化》的方法。请注意,联合语义和信道(JSC)编码器和JSC译码器也被实现为将提取的语义特征映射到物理信道可传输的复杂信号。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:来源是用户、任务及其信道/资源状态。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文中的语义/信源信道编码器:注意,联合语义与信道(JSC)编码器和JSC译码器也被实现为将提取的语义特征映射到物理信道可传输的复杂信号。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.1PDF p.2PDF p.3
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Resource Optimization for Semantic-Aware Networks With Task Offloading,原 PDF 第 2 页(架构/方法页)。Resource Optimization for Semantic-Aware Networks With Task Offloading,原 PDF 第 7 页(关键结果页)。
现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1PDF p.2
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留视频传输或生成目标所需的语义内容。 PDF p.1PDF p.4PDF p.5
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺少本文随后引入的论文特有机制:随后进行三次下采样操作以缩小特征图大小,进一步增加信道数量以获得高层特征,并扩展模型的感受野。 PDF p.1PDF p.4PDF p.5
为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文开发了强健语义感知神经视频压缩。其具体设计总结如下:论文开发了其标题所描述的方法:强健语义感知神经视频压缩。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系是:随后进行三次下采样操作以缩小特征图大小,进一步增加信道数量以获得高层特征并扩展模型的感受野。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。据报道的证据是:这有效实现了无传输背景i帧,从而消除了这些部分相应的比特消耗。 PDF p.3PDF p.4PDF p.5
系统怎么工作
该系统是视频传输或生成的端到端通信链路。论文发展了题为《强健语义感知神经视频压缩》的方法。随后进行三次降采样操作以缩小特征图大小,进一步增加信道数量以获得高层特征,并扩展模型的感受野。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:其来源是视频帧或视频语义。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:随后进行三次降采样操作以减少特征图大小,进一步增加信道数量以获得高层特征并扩展模型的感受场。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1PDF p.4
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
现有进展:在此之前,相关研究领域已证明语义通信已被用于执行许多智能任务,通过传输任务相关的语义信息而非比特。 PDF p.1PDF p.2
仍然存在的问题:由于缺乏统一理论来表示不同来源的语义,以及用数学公式量化语义信息,语义通信的研究经历了数十年的停滞。 PDF p.1PDF p.7
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:Wu等人[35]提出了一种基于视觉变换器的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现MIMO信道图像传输。 PDF p.1PDF p.7
为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了用于语音转文本传输的语义MIMO系统。其具体设计总结如下:本文提出了一种针对单用户多输入多输出(MIMO)和多用户MIMO通信场景的语义感知语音转文本传输系统,称为SAC-ST。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于,Wu 等人[35]提出了一种基于视觉变换器(Vision Transformer)的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现图像在 MIMO 信道上的传输。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果将表明,所提出的SAC-ST在语音转文本传输MIMO信道上的语义感知网络通信框架上,尤其是在低信噪比范围内,表现优于无语义感知网络的语音转文本传输。 PDF p.5PDF p.7PDF p.9
系统怎么工作
该系统是语音/音频传输或识别的端到端通信链路。本文提出了一种适用于单用户多输入多输出(MIMO)和多用户MIMO通信场景的语义感知语音转文本传输系统,名为SAC-ST。Wu 等人[35]提出了一种基于视觉变换器的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现通过MIMO信道传输图像。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:信号来源是语音或音频。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用了论文中的语义/信源信道编码器:Wu等人[35]提出了一种基于视觉变换器的语义通信系统,通过自关注模块利用上下文语义特征和信道条件,实现通过MIMO信道传输图像。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.5PDF p.8PDF p.9
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
现有进展:在此之前,相关研究已证明语义通信通过强大的提取和传输语义信息的能力,在减少传输数据量方面展现出巨大潜力。 PDF p.1PDF p.2
仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1PDF p.2PDF p.9
为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺少本文随后引入的论文专用机制:为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。 PDF p.1PDF p.2PDF p.9
为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了基于自适应信道编码的面向任务场景图语义通信。其具体设计总结如下:为了增强语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于,为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,该系统在任务执行性能、对信道变化的鲁棒性、传输效率和计算复杂度方面优于其他通信系统。 PDF p.6PDF p.8PDF p.9
系统怎么工作
该系统是任务导向推理的端到端通信链路。为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源数据是源数据以及一个下游任务。 PDF p.1PDF p.2
发送端:发送者应用论文的语义/信源信道编码器:为了提升语义通信的可解释性并减少语义冗余,我们引入了场景图语义编码器。 PDF p.1PDF p.2
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.3PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.7
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.7
信道怎样作用,接收端实际拿到什么
信道处理类别:带噪连续 latent/复信道符号端到端联合训练
在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3PDF p.4
接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它重建的是任务决策,而不一定是原始来源。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3PDF p.4
实验设置与主要结论
数据集:ImageNet、Flickr30k
Baseline:DeepJSCC、BPG、LDPC、BERT、DeepSC
指标:CER、accuracy、latency
信道:AWGN、Rayleigh、Rician、fading channel、QAM
实验使用ImageNet、Flickr30k;与DeepJSC、BPG、LDPC、BERT、DeepSC进行比较;用CER评估准确率和潜伏期;并使用AWGN、Rayleigh、Rician、衰落信道、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3PDF p.4
实验结果显示,该系统在任务执行性能、对信道变化的鲁棒性、传输效率和计算复杂度方面优于其他通信系统。 PDF p.6PDF p.8PDF p.9
通信审稿价值与 Codex 判断
价值在于用更少信道使用完成相同任务,并降低端到端时延和设备能耗。
局限:收益与任务和数据集绑定;对未知任务、分布偏移、置信度校准以及稀有关键样本的失败仍需更强证据。
Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel Coding,原 PDF 第 3 页(架构/方法页)。Task-Oriented Scene Graph-Based Semantic Communications With Adaptive Channel Coding,原 PDF 第 8 页(关键结果页)。
Wireless Video Transmission with Joint Semantic-Channel Coding
现有进展:在本文之前,相关研究已确立:随着6G时代的到来,高效传输大规模高分辨率视频对现有通信系统构成了重大挑战。 PDF p.1PDF p.2
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留视频传输或生成目标所需的语义内容。 PDF p.1PDF p.3PDF p.5
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文特有机制:传统和基于人工智能的视频编解码器都独立于传输问题优化压缩,依赖熵模型拟合和估计潜在特征的分布,使其对信道解码中的数值波动非常敏感。 PDF p.1PDF p.3PDF p.5
为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文提出了带有联合语义信道编码的无线视频传输。其具体设计总结如下:本文提出了一种高效的语义-信道联合编码模型用于无线视频传输,该模型根据视频序列和信道条件的上下文信息调整输出速率,确保即使在不同信道条件下视频传输的可靠性。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果关系在于,传统和基于人工智能的视频编解码器都独立于传输问题而优化压缩,依赖熵模型拟合和估计潜在特征的分布,使其对信道解码中的数值波动非常敏感。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:鉴于发射端和接收端之间的上下文不一致,并为提高噪声鲁棒性,我们避免了[9]中强依赖特征传播链。 PDF p.3PDF p.4PDF p.5
系统怎么工作
该系统是视频传输或生成的端到端通信链路。本文提出了一种高效的语义信道联合编码模型用于无线视频传输,该模型根据视频序列和信道条件的上下文信息调整输出速率,确保即使在不同信道条件下视频传输的可靠性。传统和基于人工智能的视频编解码器都独立于传输问题优化压缩,依赖熵模型拟合和估计潜在特征的分布,因此对信道解码中的数值波动非常敏感。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:其来源是视频帧或视频语义。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用了论文的语义/信源信道编码器:传统和基于人工智能的视频编解码器都独立于传输问题,依赖熵模型拟合和估计潜在特征的分布,使其对信道解码中的数值波动非常敏感。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1PDF p.2PDF p.4
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Wireless Video Transmission with Joint Semantic-Channel Coding,原 PDF 第 2 页(架构/方法页)。Wireless Video Transmission with Joint Semantic-Channel Coding,原 PDF 第 4 页(关键结果页)。
Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment
现有进展:在这篇论文之前,相关研究领域已经证明深度学习支持的语义通信正受到广泛关注。 PDF p.1
仍然存在的问题:大多数工作通常忽略数据采集过程,并在动态信道环境下存在鲁棒性问题。 PDF p.1PDF p.4
为什么已有方法解决不了:为单一带宽、信噪比或信道分布训练的模型具有固定的瓶颈和保护模式。当操作条件发生变化时,使用相同表示法进行重复推断无法为变得脆弱的信息重新分配速率或冗余。更具体地说,已有链路缺少了后来引入的论文专用机制:为此,信噪比(SNR)作为额外参数输入,用于积分和重组中间特性。 PDF p.1PDF p.4
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
本文怎样顺着问题提出方案:因此,论文发展了动态信道环境下的自适应采样和联合语义信道编码。其具体设计总结如下:本文提出了自适应联合采样语义信道编码(Adaptive-JSSCC)框架。 PDF p.1
方案为什么有可能起作用:其因果联系在于,为此,信噪比(SNR)作为额外参数输入被用来积分和重组中间特性。表示或保护模式可以随着操作条件变化而变化,而非训练后保持固定。 PDF p.1PDF p.4
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,拟议的自适应JSSCC有效减少数据采集量,同时不降低重建性能,且高度适应和可调节动态信道环境。 PDF p.3PDF p.4PDF p.5
系统怎么工作
该系统是图像传输或生成的端到端通信链路。本文提出了一种自适应联合采样语义信道编码(Adaptive-JSSCC)框架。为此,信噪比(SNR)作为额外参数输入,用于积分和重组中间特性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.4
输入:源是输入图像。 PDF p.1PDF p.4
发送端:发送方应用论文的语义/信源信道编码器:为此,信噪比(SNR)作为额外参数输入,用于整合和重组中间特征。 PDF p.1PDF p.4
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.4
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.4
发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.2PDF p.3PDF p.5
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.2PDF p.3PDF p.5
信道怎样作用,接收端实际拿到什么
信道处理类别:信道接口报告不足或由传统链路抽象承担
在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.2
接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.2
实验设置与主要结论
数据集:Kodak
Baseline:DeepJSCC
指标:PSNR、SSIM
信道:AWGN
实验使用柯达;与DeepJSCC比较;评估与PSNR、SSIM合作;并使用AWGN。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2
模拟结果表明,拟议的自适应JSSCC有效减少数据采集量,同时不降低重建性能,且高度适应和可调节动态信道环境。 PDF p.3PDF p.4PDF p.5
通信审稿价值与 Codex 判断
价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。
局限:适配只在有限的带宽/信道范围内验证;控制信令、在线稳定性及超出训练范围后的外推仍不确定。
Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment,原 PDF 第 2 页(架构/方法页)。Adaptive Sampling and Joint Semantic-Channel Coding Under Dynamic Channel Environment,原 PDF 第 4 页(关键结果页)。
Cross-Layer Security for Semantic Communications: Metrics and Optimization
2025 · IEEE Transactions on Vehicular Technology · 通信安全与隐私
现有进展:在此之前,相关研究领域已确立:与注重物理层符号保护的传统安全通信不同,语义安全通信需要进一步关注应用层的语义级任务性能。 PDF p.1PDF p.2
仍然存在的问题:即使合法接收者重建良好,语义表示仍可能泄露源内容或控;仅限可靠性的设计无法量化这一威胁。 PDF p.1PDF p.4
为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺乏本文随后引入的论文专用机制:我们提出了一个基于强化学习(RL)的分层AI原生语义安全通信网络,旨在确保跨层语义安全(CL-SS)。 PDF p.1PDF p.4
为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文发展了《语义通信的跨层安全:指标与优化》。其具体设计总结如下:我们提出一个基于强化学习(RL)的分层式语义安全通信网络,旨在确保跨层语义安全(CL-SS)。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于:我们提出了一个基于强化学习(RL)的分层式AI语义安全通信网络,旨在确保跨层语义安全(CL-SS)。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:最后,我们证明了所提出的智能资源分配的收敛性,模拟结果表明,我们提出的CLSS方法在任务可靠性和CLSSR方面优于传统的物理层语义安全(PL-SS)方法。 PDF p.3PDF p.5
系统怎么工作
该系统是语义信息度量与理论的端到端通信链路。我们提出了一个基于强化学习(RL)的分层式AI语义安全通信网络,旨在确保跨层语义安全(CL-SS)。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是一个源-任务-信道概率模型。 PDF p.1PDF p.2
发送端:发送方应用论文中的语义/信源信道编码器:我们提出了一个基于强化学习(RL)的分层式AI语义安全通信网络,旨在确保跨层语义安全(CL-SS)。 PDF p.1PDF p.2
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.5
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2
Cross-Layer Security for Semantic Communications: Metrics and Optimization,原 PDF 第 2 页(架构/方法页)。Cross-Layer Security for Semantic Communications: Metrics and Optimization,原 PDF 第 6 页(关键结果页)。
Deep Learning-Based Semantic Communication System for Wireless Image Transmission
现有进展:在此之前,相关研究已确立:随着语义通信能够高效提取语义信息并显著减少数据传输量,越来越多的研究正在探索基于深度学习的语义通信方法。 PDF p.1PDF p.2
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1PDF p.5
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文专用机制:为了解决语义通信系统适应不同信道状态的适应问题,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分权重。 PDF p.1PDF p.5
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了基于深度学习的无线图像传输语义通信系统。其具体设计总结如下:本文提出了一种基于卷积神经网络(ConvNet)的语义通信无线图像传输系统ConvSC,利用深度学习技术进行语义信息的提取和重建。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,为了应对语义通信系统对不同信道状态的适应,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分的权重。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,与基线模型相比,我们提出的ConvSC在多个指标上,在不同信道环境中表现更优。 PDF p.2PDF p.4PDF p.5
系统怎么工作
该系统是图像传输或生成的端到端通信链路。本文提出了一种基于卷积神经网络(ConvNet)的无线图像传输语义通信系统ConvSC,利用深度学习技术进行语义信息提取和重建。为了应对语义通信系统适应不同信道状态的问题,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分的权重。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文中的语义/信源信道编码器:为适应语义通信系统对不同信道状态的问题,提出了一个语义自适应模块,该模块根据信道状态信息调整语义信息的不同部分权重。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1PDF p.2
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
实验使用论文中所述的源/任务数据集;与DeepJSCC、BPG、JPEG2000、JPEG、LDPC、Polar、Turbo、WITT比较;用PSNR、SSIM、MS-SSIM评估;并使用AWGN、Rayleigh、衰落信道。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1PDF p.2
模拟结果表明,与基线模型相比,我们提出的ConvSC在不同信道环境中的多项指标上表现更优。 PDF p.2PDF p.4PDF p.5
Deep Learning-Based Semantic Communication System for Wireless Image Transmission,原 PDF 第 1 页(架构/方法页)。Deep Learning-Based Semantic Communication System for Wireless Image Transmission,原 PDF 第 4 页(关键结果页)。
Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach
现有进展:在本文之前,相关研究领域已经确立了有效资源分配对语义通信效率至关重要,尤其是在能源有限和通信资源受限的情况下。 PDF p.2PDF p.3PDF p.5
仍然存在的问题:有效的资源分配对于语义通信的效率至关重要,尤其是在能源供应有限和通信资源受限的情况下。 PDF p.1PDF p.3PDF p.5
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏这里后来介绍的论文专用机制:有效的资源分配对语义通信的效率至关重要,尤其是在能源有限和通信资源受限的情况下。 PDF p.1PDF p.3PDF p.5
为什么这个问题值得研究:这个问题在网络规模上很重要:功耗、带宽、计算和延迟都是共享资源。语义盲调度器可能会浪费稀缺资源,却无法提升用户的实际任务质量。 PDF p.2PDF p.3PDF p.5
本文怎样顺着问题提出方案:因此,本文提出了《多用户语义通信的节能资源分配:深度强化学习方法》。其具体设计总结如下:本文开发了题目所述的方法:多用户语义通信的节能资源分配:深度强化学习方法。 PDF p.2PDF p.3PDF p.5
方案为什么有可能起作用:其因果联系在于,有效的资源分配对于语义通信的效率至关重要,尤其是在能源有限和通信资源受限的情况下。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提算法实现了更快的收敛速度,并且与基准测试相比,S-EE提升了31.6%。 PDF p.2PDF p.5
系统怎么工作
该系统是语义感知资源分配的端到端通信链路。该论文发展了题为《多用户语义通信的节能资源分配:深度强化学习方法》所描述的方法。有效的资源分配对于语义通信的效率至关重要,尤其是在能源供应有限和通信资源受限的情况下。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:来源是用户、任务及其信道/资源状态。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:有效的资源分配对语义通信的效率至关重要,尤其是在能源有限和通信资源受限的情况下。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.2PDF p.4
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach,原 PDF 第 2 页(架构/方法页)。Energy-Efficient Resource Allocation for Multi-User Semantic Communications: A Deep Reinforcement Learning Approach,原 PDF 第 4 页(关键结果页)。
Generalizable 3D Gaussian Splatting Enabled Immersive Video Communications with Semantic Coding
2025 · Proceedings of the 3rd ACM Workshop on Mobile Immersive Computing, Networking, and Systems · 待全文核验
作者:Dingxi Yang; Zhijin Qin
团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。
现有进展:在本文之前,相关工作已确立:首先,开发了深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,并减少传输数据量而不降低性能。 PDF p.1PDF p.2
仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1PDF p.2PDF p.9
为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏后来引入的论文专用机制:首先,开发了深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量而不降低性能。 PDF p.1PDF p.2PDF p.9
为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了用于稳健语音转文本翻译的生成语义通信。其具体设计总结如下:本文提出一种名为Ross-S2T的稳健语义通信语音传输系统,以高效执行语音转文本(S2TT)传输。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,首先开发了一个深度语义编码器,能够直接将源语言中的语音转换为与目标语言相关的文本特征,从而促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量而不影响性能。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:采用LSR-CE而非CE的动机是通过引入标签平滑正则化,提高测试阶段的翻译准确性,以减少翻译过程中的过度信心,并增强令牌预测的泛化性。 PDF p.6PDF p.8PDF p.9
系统怎么工作
该系统是语音/音频传输或识别的端到端通信链路。本文提出了一种稳健的语音传输语义通信系统,名为Ross-S2T,以高效执行语音转文本(S2TT)传输。首先,开发了深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量而不降低性能。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:信号来源是语音或音频。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:首先,开发深度语义编码器,将源语言中的语音直接转换为与目标语言相关的文本特征,促进端到端(E2E)语义交换以执行S2TT任务,同时减少传输数据量且不影响性能。 PDF p.1PDF p.2
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.3PDF p.5PDF p.6
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2
发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.4PDF p.6
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.4PDF p.6
信道怎样作用,接收端实际拿到什么
信道处理类别:信道接口报告不足或由传统链路抽象承担
在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3PDF p.5PDF p.6
接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建语音波形、文本转录或识别结果。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3PDF p.5PDF p.6
实验设置与主要结论
数据集:论文未在结构化字段中明确列出
Baseline:Polar、DeepSC
指标:BLEU、accuracy、semantic similarity、latency
信道:AWGN、Rayleigh、fading channel、MIMO、QAM
实验使用论文中所述的源/任务数据集;可以和Polar、DeepSC比较;用BLEU评估准确性、语义相似性和延迟;并使用AWGN、Rayleigh、衰落信道、MIMO、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3PDF p.5PDF p.6
采用LSR-CE而非CE的动机是通过引入标签平滑正则化,提高测试阶段的翻译准确性,以减少翻译过程中的过度自信,并增强代币预测的泛化性。 PDF p.6PDF p.8PDF p.9
通信审稿价值与 Codex 判断
价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。
局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。
Generative Semantic Communications for Robust Speech-to-Text Translation,原 PDF 第 4 页(架构/方法页)。Generative Semantic Communications for Robust Speech-to-Text Translation,原 PDF 第 9 页(关键结果页)。
Hybrid Digital-Analog Semantic Communications
2025 · IEEE Journal on Selected Areas in Communications · 联合信源信道编码(JSCC)与语义信源编码
作者:Huiqiang Xie; Zhijin Qin; Zhu Han; Khaled B. Letaief
现有进展:在此之前,相关研究已确立数字和模拟语义通信(SemCom)面临固有局限,如模拟SemCom中的数据安全问题,以及数字SemCom中的平稳和悬崖边效应。 PDF p.1PDF p.2
仍然存在的问题:数字和模拟语义通信(SemCom)面临固有限制,如模拟SemCom的数据安全问题,以及数字SemCom中的平稳和悬崖效应。 PDF p.1PDF p.3PDF p.8
为什么已有方法解决不了:纯模拟分支性能下降,但缺乏本地的比特级安全和协议接口,而纯数字分支虽然提供该接口,但可能出现饱和和解码悬崖。单独改进任一分支,可以保持另一个失败模式。更具体地说,已有链路缺乏本文随后引入的专门论文机制:此外,我们提出了基于扩散的信号检测技术,涉及精心设计的方差表和采样算法以精细化传输信号。 PDF p.1PDF p.3PDF p.8
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文发展了混合数字-模拟语义通信。其具体设计总结如下:为克服这些挑战,我们提出了一个新型SemCom框架及相应系统HDA-DeepSC,采用数字-模拟混合方式实现多媒体传输。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,此外,我们还提出了基于扩散的信号检测技术,这些技术涉及精心设计的方差表和采样算法,以精细化传输信号。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1PDF p.2PDF p.4
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们提出的框架在峰值信噪比和多尺度结构相似性方面优于现有基准,展示了其在语义通信质量上的优越性。 PDF p.5PDF p.6PDF p.8
系统怎么工作
该系统是图像传输或生成的端到端通信链路。为克服这些挑战,我们提出了一个新型SemCom框架及相应系统HDA-DeepSC,采用数字-模拟混合方式实现多媒体传输。此外,我们还提出了基于扩散的信号检测技术,涉及精心设计的方差计划和采样算法,以优化传输信号。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.4
输入:源是输入图像。 PDF p.1PDF p.2PDF p.4
发送端:发送方应用论文的语义/信源信道编码器:此外,我们提出基于扩散的信号检测技术,涉及精心设计的方差计划和采样算法以优化传输信号。 PDF p.1PDF p.2PDF p.4
实际发送:传输对象是携带量化/熵编码比特的数字分支和携带连续语义特征的模拟分支。 PDF p.1PDF p.2PDF p.4
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为量化 bitstream 与连续模拟语义特征并行传输并在接收端融合。 PDF p.3
接收端:接收机从解调/信道解码的数字比特以及噪声的模拟语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.4
实验使用柯达;可与DeepJSCC、BPG、JPEG、LDPC、DeepSC进行比较;评估包括PSNR、SSIM、MS-SSIM、BLEU、延迟;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO、OFDM、QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3
我们提出的框架在峰值信噪比和多尺度结构相似性方面优于现有基准,展示了其在语义通信质量上的优势。 PDF p.5PDF p.6PDF p.8
现有进展:在本文之前,相关研究已确立基于深度学习的语义通信(DeepSC)系统已成为高效无线传输的有前景范式。 PDF p.1PDF p.2
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1PDF p.3PDF p.10
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的专用机制:在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。 PDF p.1PDF p.3PDF p.10
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文发展了基于四叉树划分编码的图像语义通信。其具体设计总结如下:为解决这些限制,我们提出了一种新颖的图像DeepSC系统,采用基于四叉树划分的联合语义信道编码,名为Quad-DeepSC,该系统在实现最先进的传输性能的同时保持低复杂度。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
该系统是图像传输或生成的端到端通信链路。为解决这些局限,我们提出了一种采用基于四叉树划分的联合语义信道编码的新型图像DeepSC系统,名为Quad-DeepSC,该系统在实现尖端传输性能的同时保持低复杂度。在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:在训练过程中,除特征编码模块外,所有组件都被联合优化为紧凑型学习图像编解码器Quad-LIC,用于源压缩任务。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
发射器发送功率归一化的实值或复值神经信道符号。该表示归类为:连续神经 JSCC 信道符号(不属于严格数字语义通信)。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1PDF p.2PDF p.3
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1PDF p.2PDF p.3
信道怎样作用,接收端实际拿到什么
信道处理类别:带噪连续 latent/复信道符号端到端联合训练
在拟议的传输路径中,信道的处理方式如下:带噪连续 潜在/复信道符号端到端联合训练。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.4
接收端实际上从可微信道模型或均衡器之后的噪声连续符号开始。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.4
实验设置与主要结论
数据集:ImageNet、Kodak、DIV2K
Baseline:BPG、JPEG、LDPC、VTM、DeepSC、SwinJSCC、NTSCC
指标:PSNR、SSIM、MS-SSIM、accuracy、latency
信道:AWGN、Rayleigh、Rician、fading channel、MIMO
实验使用ImageNet、柯达、DIV2K;与BPG、JPEG、LDPC、VTM、DeepSC、SwinJSCC、NTSCC;用PSNR、SSIM、MS-SSIM、精度、延迟进行评估;并使用AWGN、Rayleigh、Rician、衰落信道、MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.4
Image Semantic Communication With Quadtree Partition-Based Coding,原 PDF 第 2 页(架构/方法页)。Image Semantic Communication With Quadtree Partition-Based Coding,原 PDF 第 9 页(关键结果页)。
Joint Semantic-Channel Coding and Modulation for Point Cloud
2025 · ICC 2025 - IEEE International Conference on Communications · 联合信源信道编码(JSCC)与语义信源编码
作者:Jingkai Ying; Zhijin Qin; Liejun Wang; Xiaoming Tao
团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。
现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1PDF p.2
仍然存在的问题:语义通信在多种方式中的成功激励我们利用语义通信解决点云传输的挑战。 PDF p.1PDF p.5PDF p.6
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少后来引入的论文特有机制:需要定制设计将JSCC输出映射到信道符号。 PDF p.1PDF p.5PDF p.6
为什么这个问题值得研究:这个问题很重要,因为XR和3D感知源极其庞大,而交互感应延迟。以更少的信道使用方式保留几何体或任务相关对象,直接提升了延迟和无线负载。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文开发了点云的联合语义信道编码与调制。其具体设计总结如下:论文开发了题目所述的方法:点云的联合语义信道编码与调制。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于需要定制设计将JSCC输出映射到信道符号。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:可以看出,随着星座点传输数量的增加,重建性能逐渐提升。 PDF p.5PDF p.6
系统怎么工作
该系统是点云/三维场景传输的端到端通信链路。论文发展了题目所述的方法:点云的联合语义信道编码与调制。需要定制设计将JSCC输出映射到信道符号。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:其来源是点云或三维场景观测。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:需要定制设计将JSCC输出映射到信道符号。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.3PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Joint Semantic-Channel Coding and Modulation for Point Cloud,原 PDF 第 2 页(架构/方法页)。Joint Semantic-Channel Coding and Modulation for Point Cloud,原 PDF 第 4 页(关键结果页)。
Joint Semantic-Channel Coding and Modulation for Token Communications
2025 · IEEE Transactions on Wireless Communications · 调制/波形与数字物理层接口
作者:Jingkai Ying; Zhijin Qin; Yulong Feng; Liejun Wang; Xiaoming Tao
现有进展:在此之前,相关工作领域已证明近年来,Transformer架构在广泛的任务和模态上取得了卓越的性能。 PDF p.1
仍然存在的问题:缺乏统一语义表示以及各模态间存在显著的架构空白,仍然是其进步的主要障碍。 PDF p.1PDF p.9
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:具体来说,JSCCM由两个并行的点变换器编码器和一个结合Gumel-softmax和软量化方法的差分调制器组成。 PDF p.1PDF p.9
为什么这个问题值得研究:问题之所以重要,是因为少量符号错误可能会改变整个句子的含义。因此,可靠性必须通过恢复的意义或下游语言任务质量来判断,而不仅仅是比特错误率。 PDF p.1
本文怎样顺着问题提出方案:因此,论文开发了代币通信的联合语义信道编码与调制。其具体设计总结如下:随后,为了获得基于代币的更信息丰富且传输友好的表示,我们提出了一种联合语义信道与调制(JSCCM)方案,将点标记映射到标准数字星座点(调制标记)。 PDF p.1
方案为什么有可能起作用:其因果联系在于,具体来说,JSCCM由两个基于点变换器的并行编码器和一个结合Gumel-softmax和软量化方法的差分调制器组成。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量模拟表明,所提方法优于联合语义信道编码和传统分离编码,重建增益超过1dB,调制符号压缩比超过6×。 PDF p.7PDF p.9PDF p.10
系统怎么工作
该系统是文本传输/机器翻译的端到端通信链路。随后,为了基于代币获得更信息丰富且传输友好的表示,我们提出了一种联合语义信道与调制(JSCCM)方案,用于代币编码器,将点标记映射到标准数字星座点(调制标记)。具体来说,JSCCM 由两个基于点变换器的并联编码器和一个结合 Gumel-softmax 和软量化方法的差分调制器组成。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.3
输入:源是一个句子或标记序列。 PDF p.1PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:具体来说,JSCCM由两个基于点变换器的并行编码器和一个结合Gumel-softmax和软量化方法的差分调制器组成。 PDF p.1PDF p.3
实际发送:传输对象是有限星座符号、OFDM/OTFS资源或受保护的数据包。 PDF p.1PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为调制符号或编码包经过有噪声物理层。 PDF p.3PDF p.4
接收端:接收端从均衡或软解调的符号开始,然后进行语义表示,并应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.3
Joint Semantic-Channel Coding and Modulation for Token Communications,原 PDF 第 1 页(架构/方法页)。Joint Semantic-Channel Coding and Modulation for Token Communications,原 PDF 第 8 页(关键结果页)。
Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment
2025 · IEEE Transactions on Communications · 联合信源信道编码(JSCC)与语义信源编码
作者:Wei Wu; Tianle Yao; Fuhui Zhou; Zhijin Qin; Han Hu; Quan Wu
现有进展:在此之前,相关研究领域已证明,由于深度学习技术的发展,语义通信在图像分类等多个任务中表现出卓越的表现。 PDF p.1PDF p.2
仍然存在的问题:由于无线信道的开放性和神经网络的脆弱性,语义通信面临物理信道语义障碍带来的重大挑战。 PDF p.1PDF p.2PDF p.11
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺乏本文后面介绍的专属机制:此外,我们创新地提出了知识图谱增强的反损伤认知语义通信,结合知识图谱与对抗训练,以增强对语义障碍的韧性。 PDF p.1PDF p.2PDF p.11
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文提出了《知识图谱增强的强健认知语义通信:针对语义障碍》。其具体设计总结如下:我们从语义层面、隐蔽层面和效率层面设计了四个约束,以模拟潜在的恶意语义损伤。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,我们创新地提出了知识图谱增强的反损伤认知语义通信,该技术结合了知识图谱和对抗性训练,以增强对语义障碍的韧性。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,我们提出的知识图谱增强认知语义通信系统在低信噪比和语义障碍环境中,比现有的更优便携图形(BPG)和联合信源信道编码(JSCC)方案实现更高的分类准确性和鲁棒性。 PDF p.6PDF p.9PDF p.11
系统怎么工作
该系统是图像传输或生成的端到端通信链路。我们从语义层面、隐蔽层级和效率层面设计了四个约束,以模拟潜在的恶意语义损伤。此外,我们创新地提出了知识图谱增强的反损伤认知语义通信,结合知识图谱与对抗训练,以增强对语义障碍的韧性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送者应用了论文的语义/信源信道编码器:此外,我们创新地提出了知识图谱增强的反损伤认知语义通信,结合知识图谱与对抗训练,以增强对语义障碍的鲁棒性。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.6PDF p.13
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
实验使用CIFAR-10,DIV2K;与BPG、LDPC、BERT、WITT比较;评估标准为PSNR、SSIM、LPIPS、准确性、语义相似性、延迟;并使用实验中所述的信道模型。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.2PDF p.6PDF p.13
模拟结果表明,我们提出的知识图谱增强认知语义通信系统在低信噪比和语义障碍环境中,比现有的更优便携图形(BPG)和联合信源信道编码(JSCC)方案实现更高的分类准确性和鲁棒性。 PDF p.6PDF p.9PDF p.11
Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment,原 PDF 第 3 页(架构/方法页)。Knowledge Graph-Enhanced Robust Cognitive Semantic Communication Against Semantic Impairment,原 PDF 第 11 页(关键结果页)。
Large AI Model-Enabled Generative Semantic Communications for Image Transmission
现有进展:在此之前,相关研究已证明预训练生成模型能够从紧凑的语义条件重建合理的来源细节,表明可预测内容不必全部通过无线电链路传输。 PDF p.1PDF p.2
仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1PDF p.5
为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏后来引入的论文专用机制:包含关键视觉信息的关键区域通过面向图像的语义编码器处理,而非关键区域则通过图像到文本建模高效压缩。 PDF p.1PDF p.5
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了用于图像传输的大型人工智能模型支持生成语义通信。其具体设计总结如下:论文开发了题目所述的方法:大型人工智能模型赋能生成语义通信用于图像传输。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于,包含关键视觉信息的关键区域通过面向图像的语义编码器处理,而非关键区域则通过图像转文本建模高效压缩。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:为了在逆时间扩散过程中结合语义信息和受控噪声,实现有效的图像重建,我们采用了逆时间随机微分方程(SDE)。 PDF p.3PDF p.4
系统怎么工作
该系统是图像传输或生成的端到端通信链路。论文发展了题目所述的方法:大型人工智能模型赋能生成语义通信图像传输。包含关键视觉信息的关键区域通过面向图像的语义编码器处理,而非关键区域则通过图像到文本建模方法高效压缩。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是输入图像。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:包含关键视觉信息的关键区域使用面向图像的语义编码器处理,而非关键区域则通过图像转文本建模高效压缩。 PDF p.1PDF p.2
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.3PDF p.5
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2
发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1PDF p.2PDF p.3
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1PDF p.2PDF p.3
信道怎样作用,接收端实际拿到什么
信道处理类别:信道接口报告不足或由传统链路抽象承担
在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.3PDF p.5
接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.3PDF p.5
实验设置与主要结论
数据集:VQA
Baseline:DeepJSCC、BPG、LDPC
指标:PSNR、SSIM、LPIPS、FID、accuracy
信道:MIMO
实验中使用VQA;与DeepJSC、BPG、LDPC比较;评估PSNR、SSIM、LPIPS、FID等准确性;并使用MIMO。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.3PDF p.5
为了在逆时间扩散过程中结合语义信息和受控噪声,实现有效的图像重建,我们采用了逆时间随机微分方程(SDE)。 PDF p.3PDF p.4
通信审稿价值与 Codex 判断
价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。
局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。
Large AI Model-Enabled Generative Semantic Communications for Image Transmission,原 PDF 第 2 页(架构/方法页)。Large AI Model-Enabled Generative Semantic Communications for Image Transmission,原 PDF 第 4 页(关键结果页)。
Large Model Empowered Streaming Speech Semantic Communications
现有进展:在此之前,相关工作已确立:具体来说,我们通过将复杂的语义提取和信道编码模块卸载到边缘服务器,设计了一种边缘设备协作语义通信架构,从而降低本地设备的计算负担。 PDF p.1PDF p.2
仍然存在的问题:支持DL的语义通信吸引了广泛关注,并克服了近似语义表示的挑战[6]。 PDF p.1PDF p.4
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺少本文随后引入的论文特有机制:从图中可见,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中st是S中的第t个短语音段。ST以流式方式输入本地设备的语音压缩器以获得中间表示, p,通过一个轻量级NN。 PDF p.1PDF p.4
为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,论文发展了大型模型赋能的流式语音语义通信。其具体设计总结如下:本文介绍了一个大型模型赋能的流语义通信系统,用于跨多种语言的语音传输,名为LSSC-ST。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系是:从图中,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中 st 是 s 中的第 t 个短语音段。st 通过流式传输方式输入本地设备的语音压缩器,通过轻量级 NN 获得中间表示 P。语义忠实度和信道鲁棒性在同一路径中得到优化, 所以瓶颈是针对实际噪声链路设计的。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据模拟结果,LSSCST提供了更准确的语音传输,并且相比现有非流式语义通信系统实现了更低延迟的流式传输方式。 PDF p.4PDF p.5
系统怎么工作
该系统是语音/音频传输或识别的端到端通信链路。本文介绍了一种大型模型赋能流语义通信系统,用于跨多种语言的语音传输,名为LSSC-ST。从图中看,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中st是S中的第t个短语音段。ST通过流式方式输入本地设备的语音压缩器,通过轻量级NN获得中间表示P。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:信号来源是语音或音频。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:从图中,系统输入由支持语言中的语音组成,s = [s1, s2, ..., sT],其中st是S中的第t个短语音段。ST以流式方式输入本地设备的语音压缩器以获得中间表示, p,通过一个轻量级NN。 PDF p.1PDF p.2
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.3
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
Large Model Empowered Streaming Speech Semantic Communications,原 PDF 第 2 页(架构/方法页)。Large Model Empowered Streaming Speech Semantic Communications,原 PDF 第 3 页(关键结果页)。
Partial Sampling-Based Semantic Communications
2025 · IEEE Transactions on Communications · 联合信源信道编码(JSCC)与语义信源编码
现有进展:在本文之前,相关研究领域已确立语义通信有潜力提升传输效率并支持智能任务。 PDF p.1PDF p.2
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1PDF p.2PDF p.5
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,早期的流程缺少本文随后引入的论文专用机制:抽样位置的选择被建模为一个部分可观测的马尔可夫决策过程问题,并提出了基于强化学习的智能方法来解决该问题。 PDF p.1PDF p.2PDF p.5
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文发展了部分抽样语义通信。其具体设计总结如下:本文提出了一种新颖的部分采样语义通信(PSSC)框架,边缘发送器在接收端反馈的引导下,只定位并收集与目标任务相关的部分内容。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于,抽样位置的选择被建模为一个部分可观测的马尔可夫决策过程问题,并提出了基于强化学习的智能方法来解决该问题。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果表明,所提框架能够准确定位信息领域,并与现有基于全球抽样的方法相比实现了竞争力。 PDF p.5PDF p.7PDF p.8
系统怎么工作
该系统是图像传输或生成的端到端通信链路。本文提出了一种新的部分采样语义通信(PSSC)框架,边缘发送器在接收端反馈的引导下,只定位并收集与目标任务相关的部分内容。抽样位置的选择被建模为一个部分可观测的马尔可夫决策过程问题,并提出了基于强化学习的智能方法来解决该问题。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:采样位置的选择被建模为部分可观测的马尔可夫决策过程问题,并提出基于强化学习的智能方法来解决该问题。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.4PDF p.8
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
现有进展:在此之前,相关研究方向已确立:我们提出了一种新颖框架,称为渐进学习图像传输(PLIT),利用分层变分自编码器(VAE)催化语义通信。 PDF p.1
仍然存在的问题:现有的通信设计在论文带宽和噪声信道约束下,无法共同保留图像传输或生成目标所需的语义内容。 PDF p.1PDF p.6
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:此外,我们还设计了速率注意力机制,帮助调整编码策略以实现不同的传输速率。 PDF p.1PDF p.6
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
本文怎样顺着问题提出方案:因此,本文开发了利用分层VAE进行语义通信的渐进式学习图像传输。其具体设计总结如下:我们提出了一种名为渐进学习图像传输(PLIT)的新框架,利用分层变分自编码器(VAE)催化语义通信。 PDF p.1
方案为什么有可能起作用:其因果关系还在于,我们还设计了一种速率注意力机制,帮助调整编码策略以实现不同的传输速率。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:大量实验表明,我们提出的方法在速率失真性能方面优于现有基线方法,并且对信道噪声保持稳健性能。 PDF p.4PDF p.5PDF p.6
系统怎么工作
该系统是图像传输或生成的端到端通信链路。我们提出了一种名为渐进学习图像传输(PLIT)的新框架,利用分层变分自编码器(VAE)来催化语义通信。此外,我们还设计了速率注意力机制,帮助调整编码策略以实现不同的传输速率。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1
输入:源是输入图像。 PDF p.1
发送端:发送方应用论文的语义/信源信道编码器:此外,我们设计了速率注意力机制,帮助调整编码策略以实现不同的传输速率。 PDF p.1
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1PDF p.3PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1
Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAE,原 PDF 第 2 页(架构/方法页)。Progressive Learned Image Transmission for Semantic Communication Using Hierarchical VAE,原 PDF 第 7 页(关键结果页)。
Robust Semantic Communications for Speech Transmission
现有进展:在本文之前,相关研究领域已确立:具体来说,我们认为语音转文本(S2TT)是传输目标。 PDF p.1
仍然存在的问题:引言 语义通信被视为解决传统通信系统技术挑战的有前景解决方案,近年来吸引了大量研究关注[1]。 PDF p.1PDF p.2PDF p.4
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏本文随后引入的论文特有机制:首先,开发了一种新的深度语义编码器,将源语言中的语音转换为目标语言相关的文本特征,促进端到端语义交换以执行S2TT任务,同时减少传输数据且不降低性能。 PDF p.1PDF p.2PDF p.4
为什么这个问题值得研究:这个问题很重要,因为即使波形失真仅有轻微变化,可理解性、识别准确性和丢包隐蔽也可能崩溃;一个有用的系统必须在低比特率和信道误差下保持语言内容。 PDF p.1
本文怎样顺着问题提出方案:因此,论文发展了语音传输的强健语义通信。其具体设计总结如下:本文提出一种稳健的语义通信系统,名为Ross-S2T,通过传递关键语义信息。 PDF p.1
方案为什么有可能起作用:其因果联系在于,首先开发了一种新的深度语义编码器,将源语言中的语音转换为与目标语言相关的文本特征,从而促进端到端的语义交换以执行S2TT任务,同时减少传输数据而不降低性能。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:首要挑战是实现端对端语义交换,实现从源语言语音高效传输到目标语言文本。 PDF p.2PDF p.3PDF p.4
系统怎么工作
该系统是语音/音频传输或识别的端到端通信链路。本文提出了一种稳健的语音传播语义通信系统,名为Ross-S2T,通过传递关键语义信息。首先,开发了一种新的深度语义编码器,将源语言中的语音转换为与目标语言相关的文本特征,促进端到端语义交换以执行S2TT任务,同时减少传输数据而不降低性能。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1
输入:信号来源是语音或音频。 PDF p.1
发送端:发送方应用论文的语义/信源信道编码器:首先,开发了一种新的深度语义编码器,将源语言中的语音转换为与目标语言相关的文本特征,促进端到端语义交换以执行S2TT任务,并减少传输数据而不降低性能。 PDF p.1
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.3
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1
现有进展:在本文之前,相关研究已证明,基于深度学习的语义通信技术通过促进语义特征的传输,显著提升了无线通信系统的效率和可靠性。 PDF p.1PDF p.2
仍然存在的问题:安全威胁,尤其是敏感数据的拦截,仍然是安全通信面临的重大挑战。 PDF p.1PDF p.2PDF p.5
为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺少本文随后引入的论文特有机制:它包含语义编码器/解码器、信道编码器/解码器以及带有密钥处理网络的加密/解密模块。 PDF p.1PDF p.2PDF p.5
为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文发展了无线语义通信中带有对抗训练的安全传输。其具体设计总结如下:为保护传输语义的机密性并有效抵御窃听威胁,论文提出一种基于深度学习的安全语义通信系统SecureDSC。 PDF p.1PDF p.2
方案为什么有可能起作用:其因果联系在于它包含语义编码器/解码器、信道编码器/解码器以及加密/解密模块,并带有密钥处理网络。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:根据不同学习率的结果,lr = 5 × 10⁻⁻ 导致损失函数变更平滑,因此被后续实验选用。 PDF p.4PDF p.5
系统怎么工作
该系统是语义信息度量与理论的端到端通信链路。为了保护传输语义的机密性并有效抵御窃听威胁,论文提出了一种安全的基于深度学习的语义通信系统SecureDSC。它包含语义编码器/解码器、信道编码器/解码器以及带有密钥处理网络的加密/解密模块。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是一个源-任务-信道概率模型。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:它包含语义编码/解码器、信道编码器/解码器以及加密/解密模块,并带有密钥处理网络。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Secure Transmission in Wireless Semantic Communications With Adversarial Training,原 PDF 第 2 页(架构/方法页)。Secure Transmission in Wireless Semantic Communications With Adversarial Training,原 PDF 第 4 页(关键结果页)。
Semantic Communication Based on Large Language Model for Underwater Image Transmission
2025 · IEEE Transactions on Mobile Computing · 联合信源信道编码(JSCC)与语义信源编码
发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.1PDF p.3
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.1PDF p.3
信道怎样作用,接收端实际拿到什么
信道处理类别:信道接口报告不足或由传统链路抽象承担
在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1PDF p.2PDF p.5
接收方实际上是从论文接收方假设的恢复语义特征出发。然后它会重建或生成的图像。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1PDF p.2PDF p.5
实验设置与主要结论
数据集:论文未在结构化字段中明确列出
Baseline:论文未在结构化字段中明确列出
指标:SSIM、LPIPS、FID、accuracy、latency、SER、CLIP
信道:OFDM
实验使用论文中所述的源/任务数据集;与论文中标明的参考系统进行比较;用SSIM、LPIPS、FID、准确性、延迟、SER、CLIP来评估;并使用OFDM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1PDF p.2PDF p.5
实验结果表明,我们的方法显著优于现有方法,确保了高质量、语义准确的图像重建。 PDF p.5PDF p.6PDF p.7
通信审稿价值与 Codex 判断
价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。
局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。
Semantic Communication Based on Large Language Model for Underwater Image Transmission,原 PDF 第 3 页(架构/方法页)。Semantic Communication Based on Large Language Model for Underwater Image Transmission,原 PDF 第 11 页(关键结果页)。
Semantic-Enabled Video Transmission over Packet Erasure Channel
仍然存在的问题:在丢包场景下,由于语义特征需要先转换为bitstream再封装成数据包,因此很难本地化丢失的语义特征。 PDF p.1PDF p.2PDF p.6
为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺乏本文随后引入的论文特有机制:这有效解决了传输带来的熵解码中的错误传播。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。 PDF p.1PDF p.2PDF p.6
为什么这个问题值得研究:这个问题很重要,因为视频会持续消耗带宽,并且有严格的延迟预算;错误也可能跨帧传播,因此时间一致性和质量优雅下降是通信层面的关注点。 PDF p.1
本文怎样顺着问题提出方案:因此,论文开发了通过数据包擦除信道实现语义驱动视频传输。其具体设计总结如下:本文提出一种语义驱动的视频编码器,利用包擦除信道(PEC)模拟丢包条件,创建语义信息与数据包之间的映射。 PDF p.1
方案为什么有可能起作用:其因果联系在于,这有效解决了传输带来的熵解码错误传播问题。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验结果显示,所提方案相比传统和基于人工智能的基准测试,在处理丢包场景时具有更优越的鲁棒性。 PDF p.3PDF p.5PDF p.6
系统怎么工作
该系统是视频传输或生成的端到端通信链路。本文提出了一种语义驱动的视频编码器,利用数据包消除信道(PEC)模拟丢包条件,创建语义信息与数据包之间的映射。这有效解决了传输带来的熵解码错误传播问题。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1
输入:其来源是视频帧或视频语义。 PDF p.1
发送端:发送方应用论文的语义/信源信道编码器:这有效解决了传输带来的熵解码中的错误传播问题。• 我们提出了一种传输单元划分策略,将语义特征映射到RTP数据包。 PDF p.1
实际发送:传输对象是量化比特、离散令牌或码本 index,而非无约束连续潜在对象。 PDF p.1
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为离散变量经数字链路传输;需检查残余位/索引错误。 PDF p.1PDF p.2
接收端:接收端从解码后的比特/索引或其噪声/软估计开始,随后进行语义去量化和重建,应用所提出的解码器、推理模型或生成器。 PDF p.1
Semantic-Enabled Video Transmission over Packet Erasure Channel,原 PDF 第 2 页(架构/方法页)。Semantic-Enabled Video Transmission over Packet Erasure Channel,原 PDF 第 4 页(关键结果页)。
Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding
2025 · IEEE Transactions on Wireless Communications · 调制/波形与数字物理层接口
作者:Yun Tian; Jingkai Ying; Zhijin Qin; Ye Jin; Xiaoming Tao
现有进展:在此之前,相关研究已确立:尽管联合语义信道编码设计的语义通信在通过物理层信道传输不同模态数据方面表现出良好性能,但多模语义的同步和分组级前向错误更正(FEC)尚未得到充分研究。 PDF p.1
仍然存在的问题:许多已学习的语义链止于连续的潜在状态,导致量化、有限符号映射以及位/索引错误的后果超出学习设计范围。 PDF p.1PDF p.2PDF p.9
为什么已有方法解决不了:连续潜在链路或单独设计的常规链路并未规定语义信息如何量化、映射为有限符号,以及在位或索引错误时如何保护。仅仅通过改进源自编码器,无法弥合这一接口空白。更具体地说,已有链路缺乏本文随后引入的专用机制:由于语义编码器独立设计,同步语义域和时间域的多模态特征具有挑战性。 PDF p.1PDF p.2PDF p.9
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
本文怎样顺着问题提出方案:因此,论文开发了带有分组级编码的同步多模态语义通信系统。其具体设计总结如下:我们提出一种语义编解码器,能以较低带宽实现类似重建质量。 PDF p.1
方案为什么有可能起作用:其因果联系在于,由于语义编码器设计独立,同步语义域和时间域的多模态特征具有挑战性。学习的潜在部分被强制通过所描述的离散或混合接口,因此接收端设计时是为它实际将观察到的表征而设计的。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:仿真结果显示,SyncSC在降低传输开销的同时,确保视频和语音在丢包网络上的高质量同步传输。 PDF p.5PDF p.6PDF p.9
系统怎么工作
该系统是图像传输或生成的端到端通信链路。我们提出了一种语义编码器,能以较低带宽实现类似重建质量。由于语义编码器的独立设计,同步语义域和时间域的多模特征具有挑战性。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是输入图像。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:由于语义编码器设计独立,在语义域和时间域中同步多模态特征具有挑战性。 PDF p.1PDF p.2
实际发送:传输对象是有限星座符号、OFDM/OTFS资源或受保护的数据包。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为调制符号或编码包经过有噪声物理层。 PDF p.1PDF p.4PDF p.11
接收端:接收端从均衡或软解调的符号开始,然后进行语义表示,并应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2
Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding,原 PDF 第 3 页(架构/方法页)。Synchronous Multi-Modal Semantic Communication System With Packet-Level Coding,原 PDF 第 8 页(关键结果页)。
A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks
A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks,原 PDF 第 2 页(架构/方法页)。A Resource-Aware Lightweight Semantic Communication System in Heterogeneous Edge-End Networks,原 PDF 第 4 页(关键结果页)。
A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things
2026 · IEEE Transactions on Mobile Computing · 通信安全与隐私
现有进展:在此之前,相关研究已证明端到端语义编码器能够以比重建型链路更少的信道资源保存合法接收方所需的信息。 PDF p.1PDF p.2PDF p.3
仍然存在的问题:网络的分布性质和设备的异构性挑战了语义通信系统的安全利用。 PDF p.1PDF p.8
为什么已有方法解决不了:早期以可靠性为导向的语义编码器优化了合法接收端,并未模拟窃听者、攻击者或好奇的服务器能从传输的表示中推断出的内容。因此,仅靠更好的重建无法消除语义泄露或操作风险。更具体地说,已有链路缺少本文随后引入的论文专用机制:语义编码器负责将输入数据转换为有意义的语义特征。 PDF p.1PDF p.8
为什么这个问题值得研究:这个问题很重要,因为语义质量必须在信道使用、功耗和延迟等真实预算下实现;否则,表面上的机器学习增益可能无法转化为通信系统的增益。 PDF p.1PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,本文开发了《异构物联网的安全高效分布式语义通信系统》。其具体设计总结如下:本文开发了题目所述的方法:一种针对异构物联网的安全高效分布式语义通信系统。 PDF p.1PDF p.2PDF p.3
方案为什么有可能起作用:因果联系在于语义编码器负责将输入数据转化为有意义的语义特征。威胁或隐私变量现在进入了训练或优化,同时涉及合法-接收者质量。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:它们在使用阶段为语义编解码器提供了与任务相关的背景知识,以实现更优异的通信性能。 PDF p.5PDF p.6PDF p.8
系统怎么工作
该系统是通用语义通信系统的端到端通信链路。论文开发了题目所述的方法:一种针对异构物联网的安全高效分布式语义通信系统。语义编码器负责将输入数据转换为有意义的语义特征。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是源数据和通信任务。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:语义编码器负责将输入数据转换为有意义的语义特征。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.2PDF p.3PDF p.4
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things,原 PDF 第 2 页(架构/方法页)。A Secure and Efficient Distributed Semantic Communication System for Heterogeneous Internet of Things,原 PDF 第 9 页(关键结果页)。
A hybrid bit and semantic communication system
2026 · Science China Information Sciences · 联合信源信道编码(JSCC)与语义信源编码
作者:Kaiwen Yu; Renhe Fan; Gang Wu; Zhijin Qin
团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。
现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.1
仍然存在的问题:当前的联合信源信道编码(JSCC)方法将源内容从APP层直接映射到PHY层的符号以实现无线传输,这在标准化分层框架中带来了重大集成挑战,并阻碍了其实际部署。 PDF p.1PDF p.2
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来引入的论文特有机制:语义编码器被训练为将源数据Ms转换为语义特征,然后准备插入源图像中,用于比特级编码Mb,用于传统数字通信。 PDF p.1PDF p.2
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.1
本文怎样顺着问题提出方案:因此,论文开发了一种混合比特和语义通信系统。其具体设计总结如下:论文发展了标题所述的方法:一种混合比特和语义通信系统。 PDF p.1
方案为什么有可能起作用:因果联系在于,语义编码器被训练为将源数据 Ms 转换为语义特征,这些特征随后可以插入到源图像中,用于比特级编码 Mb,用于传统数字通信。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:语义通信被视为提升传输效率的潜在方法[1,2]。 PDF p.1PDF p.2
系统怎么工作
该系统是图像传输或生成的端到端通信链路。论文发展了标题所描述的方法:一种混合比特和语义通信系统。语义编码器被训练为将源数据 Ms 转换为语义特征,这些特征随后准备好插入源图像中,用于比特级编码 Mb,用于传统数字通信。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1
输入:源是输入图像。 PDF p.1
发送端:发送方应用论文的语义/信源信道编码器:语义编码器训练后将源数据Ms转换为语义特征,这些特征随后准备插入源图像中,用于比特级编码Mb,用于传统数字通信。 PDF p.1
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.1PDF p.2
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1
现有进展:在此之前,相关研究已确立语义通信研究产生了任务特定的扭曲和效用度量,为探讨哪些语义信息值得传递奠定了基础。 PDF p.2
仍然存在的问题:现有语义系统使用任务特定的准确性或重建分数,但缺乏比较不同系统语义信息效率所需的共同数量或界限。 PDF p.1PDF p.2
为什么已有方法解决不了:早期系统可以报告任务准确性或重建质量,但如果没有提出的数量或界限,它们无法在通用的信息论基础上比较语义效率。缺失对象是一个定义和优化标准,而不是另一个神经网络块。更具体地说,早期的流程缺乏后面介绍的论文专用机制:论文发展了题目所述的方法:时空信息语义价值的信息理论度量。 PDF p.1PDF p.2
为什么这个问题值得研究:这个问题很重要,因为一个领域无法在没有明确语义目标的情况下比较系统或证明极限。一个有根据的指标将真实的沟通收益与数据集、模型或任务评分的变化区分开来。 PDF p.2
本文怎样顺着问题提出方案:因此,本文提出了《时空信息语义价值的信息论指标》。其具体设计总结如下:本文发展了题目所述的方法:时空信息语义价值的信息理论度量。 PDF p.2
方案为什么有可能起作用:因果关系在于,本文发展了题目所述的方法:时空信息语义价值的信息理论指标。所提定义使语义目标显式,因此可测量或优化。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:实验将拟议设计与在资源和信道匹配条件下的基线进行比较,同时测试最终质量和鲁棒性,而不仅仅是训练损失。 PDF p.5
系统怎么工作
该系统是语义信息度量与理论的端到端通信链路。论文发展了题目所述的方法:时空信息语义价值的信息理论度量。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源是一个源-任务-信道概率模型。 PDF p.1PDF p.2
发送端:发送者应用论文的语义/信源信道编码器:论文发展了标题所述的方法:时空信息语义价值的信息理论指标。 PDF p.1PDF p.2
实际发送:传输对象是由信息论模型定义的随机变量或语义消息。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为抽象信源—信道—语义失真模型;不对应一条具体神经收发链路。 PDF p.1PDF p.2
接收端:接收方从定理中的抽象语义解码器或决策规则开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2
An Information-Theoretic Metric for Semantic Value of Spatiotemporal Information,原 PDF 第 2 页(架构/方法页)。An Information-Theoretic Metric for Semantic Value of Spatiotemporal Information,原 PDF 第 5 页(关键结果页)。
Diffusion-Enabled Secure Semantic Communication Against Eavesdropping
2026 · IEEE Transactions on Wireless Communications · 通信安全与隐私
作者:Boxiang He; Zihan Chen; Fanggang Wang; Shilian Wang; Zhijin Qin; Tony Q. S. Quek
团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。
Diffusion-Enabled Secure Semantic Communication Against Eavesdropping,原 PDF 第 3 页(架构/方法页)。Diffusion-Enabled Secure Semantic Communication Against Eavesdropping,原 PDF 第 9 页(关键结果页)。
Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding
2026 · ICC 2026 - IEEE International Conference on Communications · 联合信源信道编码(JSCC)与语义信源编码
现有进展:在此之前,相关研究已证明预训练生成模型能够从紧凑的语义条件重建合理的来源细节,表明可预测内容不必全部通过无线电链路传输。 PDF p.1
仍然存在的问题:即使接收端有强生成先验,重构链路仍传输大量源细节,而现有生成方案无法完全控制延迟、幻觉和信道条件保真度。 PDF p.1PDF p.2PDF p.5
为什么已有方法解决不了:传统的重建导向传输使用描述信息,强接收机可以综合这些信息。它也缺乏判断何种紧凑条件足够,以及如何将生成错误与延迟和保真度进行权衡的机制。更具体地说,已有链路缺乏本文中后来介绍的专属机制:论文开发了题目所述的方法:可推广的按像素三维高斯喷溅支持联合语义信道编码。 PDF p.1PDF p.2PDF p.5
为什么这个问题值得研究:这个问题很重要,因为XR和3D感知源极其庞大,而交互感应延迟。以更少的信道使用方式保留几何体或任务相关对象,直接提升了延迟和无线负载。 PDF p.1
本文怎样顺着问题提出方案:因此,论文开发了可推广的按像素3D高斯散画支持的联合语义信道编码。其具体设计总结如下:论文发展了题目所述的方法:可推广的像素方向3D高斯喷溅支持联合语义信道编码。 PDF p.1
方案为什么有可能起作用:其因果联系在于,本文发展了题目所述的方法:可推广的像素方向3D高斯散布支持联合语义信道编码。发射端发送紧凑状态,接收端提供可预测的细节,减少必须跨信道的信息量。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:最后,在该遮蔽矢量与 y 之间进行元素乘积,以实现可变速率传输。 PDF p.4PDF p.5
系统怎么工作
该系统是点云/三维场景传输的端到端通信链路。论文发展了题目所述的方法:可推广的按像素三维高斯散画支持的联合语义信道编码。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:其来源是点云或三维场景观测。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用了论文的语义/信源信道编码器:论文开发了题目所述的方法:可推广的按像素方向的3D高斯喷溅支持联合语义信道编码。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.1PDF p.2PDF p.3
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
发送方发送一个语义特征或潜在表示,其精确的位映射尚未完全指定。这被归类为:语义 特征/潜在;论文未给出完整量化到 bitstream 的接口。这一区别很重要,因为连续的神经符号、硬编码本 index和信道解码的bitstream以不同方式失效。 PDF p.5PDF p.6
通信成本通过论文声明的信道使用、压缩/带宽比、比特率、码率、令牌数量或分配的无线资源来解读。当论文未报告完整的比特级接口时,报告并未仅凭潜在维度发明比特率。 PDF p.5PDF p.6
信道怎样作用,接收端实际拿到什么
信道处理类别:信道接口报告不足或由传统链路抽象承担
在拟议的传输路径中,信道的处理方式如下:信道接口报告不足或由传统链路抽象承担。仅作为比较基线提及的LDPC、QAM或其他传统方案不用于分类拟议接收机。 PDF p.1PDF p.2PDF p.3
接收方实际上是从论文接收方假设的恢复语义特征出发。然后它重建的三维内容或下游三维任务输出。该陈述明确了学习到的译码器看到的是噪声连续符号、错误的离散变量、软信息,还是已经信道解码的表示。 PDF p.1PDF p.2PDF p.3
实验设置与主要结论
数据集:论文未在结构化字段中明确列出
Baseline:DeepJSCC、BPG、JPEG、LDPC、Turbo、SwinJSCC
指标:PSNR、CER、latency
信道:QAM
实验使用论文中所述的源/任务数据集;与DeepJSCC、BPG、JPEG、LDPC、Turbo、SwinJSCC进行比较;评估PSNR、CER和潜伏期;并使用QAM。一个代表性的报告工作条件是:必须同时读取精确的信噪比、带宽比和功耗约束,并附带相应的结果数据。 PDF p.1PDF p.2PDF p.3
最后,在该遮蔽矢量与 y 之间进行逐元素乘积,以实现可变速率传输。 PDF p.4PDF p.5
通信审稿价值与 Codex 判断
价值要由相同带宽、功率和信道条件下的质量、鲁棒性或时延收益来证明。
局限:生成先验可节省传输,但幻觉、域偏移、共享模型成本、推理时延和语义忠实度仍是核心风险。
Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding,原 PDF 第 2 页(架构/方法页)。Generalizable Pixel-wise 3D Gaussian Splatting enabled Joint Semantic-Channel Coding,原 PDF 第 4 页(关键结果页)。
Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading
现有进展:在此之前,相关研究已证明语义编码器和面向任务链路建立了速率-质量曲线,使得优化无线电和计算资源以对任务效用进行优化成为可能。 PDF p.2PDF p.3
仍然存在的问题:由于带宽、延迟和能量限制,通过无人机与地面无线链路传输大量视觉数据依然具有挑战性。 PDF p.1PDF p.5
为什么已有方法解决不了:固定或基于比特率的分配无法区分具有不同语义重要性的样本、用户和任务。它可能将功力和带宽浪费在低价值细节上,同时让任务质量对信道最敏感的用户感到饥饿。更具体地说,已有链路缺乏后来介绍的论文特有机制:尽管取得了这些进展,无人机轨迹的联合优化、语义符号调度以及在混合动作约束下的无线电资源分配仍未被充分探索。 PDF p.1PDF p.5
为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,本文开发了面向VQA的无人机语义卸载中资源分配的混合强化学习。其具体设计总结如下:论文开发了题目所述的方法:面向VQA的无人机语义卸载中的资源分配混合强化学习。 PDF p.2PDF p.3
方案为什么有可能起作用:其因果关系在于,尽管取得了这些进展,但无人机轨迹的联合优化、语义符号调度以及在混合动作约束下的无线电资源分配方面仍未被充分探索。语义重要性现在改变了分配决策,而非仅在资源确定后才评估。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:相比之下,HPPO实现了更平滑且稳步增长的学习曲线,展示了其稳健性和联合优化离散与连续动作的能力。 PDF p.5PDF p.6
系统怎么工作
该系统是任务导向推理的端到端通信链路。本文发展了题为《面向VQA的无人机语义卸载中的资源分配混合强化学习》的方法。尽管取得了这些进展,无人机轨迹的联合优化、语义符号调度以及在混合动作约束下的无线电资源分配仍未被充分探索。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源数据是源数据以及一个下游任务。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用了论文中的语义/信源信道编码器:尽管取得了这些进展,UAV轨迹的联合优化、语义符号调度以及在混合动作约束下的无线资源分配方面仍未被充分探索。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是由底层系统模型定义的语义速率、任务效用或信道使用变量。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为沿用底层语义通信链路或抽象速率模型。 PDF p.1PDF p.2PDF p.3
接收端:接收端从系统公式假设的接收机模型开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading,原 PDF 第 1 页(架构/方法页)。Hybrid Reinforcement Learning for Resource Allocation in VQA-Oriented UAV Semantic Offloading,原 PDF 第 4 页(关键结果页)。
Meta-Curriculum Federated Learning for Adaptive Task-Oriented Semantic Communication
现有进展:在此之前,相关研究领域已确立任务导向语义通信(TOSC)设想了社交物联网(SIoT)中高效的信息交换。 PDF p.1PDF p.2
仍然存在的问题:重构导向的发射器会花费带宽处理下游任务不需要的信息,且可能仍无法保护决定任务决策的小功能。 PDF p.1PDF p.2PDF p.4
为什么已有方法解决不了:当接收者只需做出决定时,重建每一个来源细节是个不必要的强硬目标。经过像素或波形真实度训练的编解码器可能会丢弃一个小的任务关键特征,同时保留视觉上合理但无关的内容。更具体地说,已有链路缺少本文随后引入的论文特有机制:发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。 PDF p.1PDF p.2PDF p.4
为什么这个问题值得研究:这个问题很重要,因为边缘设备往往需要及时做出决策,而不是忠实的复制品。仅发送任务足够的信息可以减少无线资源占用和延迟,但前提是关键证据能通过信道保存。 PDF p.1PDF p.2
本文怎样顺着问题提出方案:因此,本文开发了适应性任务导向语义通信的元课程联合学习。其具体设计总结如下:在论文中,我们提出了一个新框架,将元课程学习(MCL)融入联邦语义通信,以实现自适应且稳健的培训。 PDF p.1PDF p.2
方案为什么有可能起作用:因果联系在于,发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。与任务相关的证据直接控制瓶颈和损失,因此无线电资源在无关源细节上花费不均。 PDF p.1PDF p.2
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:模拟结果显示,MCL在FedAvg和FedDF框架内的静态课程学习中,通信轮次减少了56%,证实了其在异构边缘网络中的可扩展性和可推广性。 PDF p.2PDF p.4
系统怎么工作
该系统是任务导向推理的端到端通信链路。在论文中,我们提出了一个新框架,将元课程学习(MCL)融入联邦语义通信,以实现适应性和稳健的训练。发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2
输入:源数据是源数据以及一个下游任务。 PDF p.1PDF p.2
发送端:发送方应用论文的语义/信源信道编码器:发送方使用深度语义编码器从原始数据中提取任务相关特征,并将其映射为语义符号,而接收端则为后续任务解码这些符号[15]。 PDF p.1PDF p.2
实际发送:传输对象是功率归一化的实数或复值神经信道符号。 PDF p.1PDF p.2
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为带噪连续 潜在/复信道符号端到端联合训练。 PDF p.2PDF p.4
接收端:接收端从可微信道或均衡器之后的噪声连续符号开始,应用所提出的解码器、推理模型或生成器。 PDF p.1PDF p.2
现有进展:在此之前,相关研究已证明深度联合信源信道编码表明压缩和信道鲁棒性可以同时学习,从而在有限的信道带宽下实现优雅的降级和强质量。 PDF p.2PDF p.3
仍然存在的问题:现有的端到端框架将异构模态数据融合成单体表示,使得任务推断在信道受损下变得脆弱,在严格的资源约束下带宽分配效率低下。 PDF p.1PDF p.2PDF p.9
为什么已有方法解决不了:分离的压缩和信道编码,或忽略论文目标语义因子的端到端模型,可以优化不匹配的中间目标。所得表示并未明确针对此处研究的联合带宽、功耗、信道和语义质量约束而塑造。更具体地说,已有链路缺乏后来介绍的论文特有机制:还研究了由全局提示引导的交互式多模态系统,以实现模态间的灵活信息交互[17]。 PDF p.1PDF p.2PDF p.9
为什么这个问题值得研究:问题之所以重要,是因为有限的信道使用迫使系统选择保护哪些视觉信息。感知或域关键结构可能比平均像素保真度更有价值,尤其是在低信噪比或高压缩率下。 PDF p.2PDF p.3
本文怎样顺着问题提出方案:因此,本文发展了多模态语义通信与信息理论解缠表示。其具体设计总结如下:本文发展了题目所述的方法:多模态语义通信与信息理论解缠表示。 PDF p.2PDF p.3
方案为什么有可能起作用:其因果联系在于,由全局提示引导的交互式多模态系统也被研究以实现模态间的灵活信息交互[17]。语义保真度和信道鲁棒性在同一路径上得到优化,因此瓶颈针对实际噪声链路而形成。 PDF p.1PDF p.2PDF p.3
作者希望证明什么:论文测试了这种因果机制是否经得起公平的通信比较。报告的证据是:我们的方法在所有信噪比(SNR)体系中始终优于所有基线方法,而传统方法在低信噪比下性能严重下降。 PDF p.9PDF p.10
系统怎么工作
该系统是图像传输或生成的端到端通信链路。本文发展了题为《多模态语义通信与信息论解缠表示》所描述的方法。还研究了由全局提示引导的交互式多模态系统,以实现模态间的灵活信息交互[17]。关键在于学习到的表征如何与所说的信道和资源约束相连接,而不仅仅是使用更大的神经网络。 PDF p.1PDF p.2PDF p.3
输入:源是输入图像。 PDF p.1PDF p.2PDF p.3
发送端:发送方应用论文的语义/信源信道编码器:还研究了由全局提示引导的交互式多模态系统,以实现模态间的灵活信息交互[17]。 PDF p.1PDF p.2PDF p.3
实际发送:传输对象是一个语义特征或潜在表示,其精确的位映射尚未完全指定。 PDF p.1PDF p.2PDF p.3
信道:传输遵循论文中评估的信道/资源模型;其处理方式总结为:信道接口报告不足或由传统链路抽象承担。 PDF p.3PDF p.4PDF p.8
接收端:接收方从被论文接收方假设的恢复语义特征开始,应用所提出的译码器、推理模型或生成器。 PDF p.1PDF p.2PDF p.3
Multimodal Semantic Communication With Information-Theoretic Disentangled Representations,原 PDF 第 1 页(架构/方法页)。Multimodal Semantic Communication With Information-Theoretic Disentangled Representations,原 PDF 第 12 页(关键结果页)。
Robust Multimodal Semantic Communications with Semantic Fusion and Compensation
2026 · ICC 2026 - IEEE International Conference on Communications · 联合信源信道编码(JSCC)与语义信源编码
作者:Xiang Peng; Zhijin Qin; Xiaoming Tao; Jianhua Lu
团队归属:补充数据库轮次核验:指定负责人直接署名(Zhijin Qin);Crossref/DBLP 正式 DOI 元数据。
Robust Multimodal Semantic Communications with Semantic Fusion and Compensation,原 PDF 第 2 页(架构/方法页)。Robust Multimodal Semantic Communications with Semantic Fusion and Compensation,原 PDF 第 4 页(关键结果页)。
排除与边界记录
这些条目在检索中出现,但因预印本、综述/愿景、MDPI、主题边界或被期刊扩展版取代而未进入核心表。
年份
标题
原因
2021
Semantic Communication Systems for Speech Transmission
非正式期刊/会议技术论文类型:preprint
2021
Semantic Communications for Speech Recognition
非正式期刊/会议技术论文类型:preprint
2021
Semantic Communications: Principles and Challenges
非正式期刊/会议技术论文类型:preprint
2021
Task-Oriented Image Transmission for Scene Classification in Unmanned Aerial Systems
非正式期刊/会议技术论文类型:preprint
2021
Task-Oriented Multi-User Semantic Communications
非正式期刊/会议技术论文类型:preprint
2021
Task-Oriented Multi-User Semantic Communications for Multimodal Data
非正式期刊/会议技术论文类型:preprint
2021
Task-Oriented Multi-User Semantic Communications for VQA Task
非正式期刊/会议技术论文类型:preprint
2021
Task-Oriented Semantic Communications for Multimodal Data.
非正式期刊/会议技术论文类型:preprint
2022
A Robust Deep Learning Enabled Semantic Communication System for Text
非正式期刊/会议技术论文类型:preprint
2022
A Unified Multi-Task Semantic Communication System for Multimodal Data
非正式期刊/会议技术论文类型:preprint
2022
A Unified Multi-Task Semantic Communication System with Domain Adaptation
非正式期刊/会议技术论文类型:preprint
2022
Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications
综述、教程、愿景或编者按,非正式技术研究论文
2022
Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications
非正式期刊/会议技术论文类型:preprint
2022
Deep Learning Enabled Semantic Communications with Speech Recognition and Synthesis
非正式期刊/会议技术论文类型:preprint
2022
Guest Editorial Special Issue on Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications
非正式期刊/会议技术论文类型:editorial
2022
QoE-Aware Resource Allocation for Semantic Communication Networks
非正式期刊/会议技术论文类型:preprint
2022
Resource allocation for text semantic communications
非正式期刊/会议技术论文类型:preprint
2022
Robust Semantic Communications Against Semantic Noise
非正式期刊/会议技术论文类型:preprint
2022
Robust Semantic Communications with Masked VQ-VAE Enabled Codebook
非正式期刊/会议技术论文类型:preprint
2022
Semantic Communication for Internet of Vehicles: A Multi-User Cooperative Approach
非正式期刊/会议技术论文类型:preprint
2022
Semantic Sensing and Communications for Ultimate Extended Reality
非正式期刊/会议技术论文类型:preprint
2022
Vector Quantized Semantic Communication System
非正式期刊/会议技术论文类型:preprint
2023
A GAN-based Semantic Communication for Text without CSI
非正式期刊/会议技术论文类型:preprint
2023
A Generalized Semantic Communication System: from Sources to Channels
非正式期刊/会议技术论文类型:preprint
2023
Adaptive Resource Allocation for Semantic Communication Networks
非正式期刊/会议技术论文类型:preprint
2023
Compression Ratio Learning and Semantic Communications for Video Imaging