[논문 리뷰] A Survey on Semantic Communications for Intelligent Wireless Networks-3

이번 3편에서는 semantic 통신에서 계층간 상호작용에 대해 다룬다.
논문의 Cross Layer Interaction 전체에 해당하는 부분이다.
syntactic 계층과 semantic layer가 서로 상호작용하여,
모든 비트를 정확히 재전송하지 않고도 의미만 맞으면 오류를 복구할 수 있는 내용에 대해서 포괄적으로 다룬다.
 
쉽게 말해, 비트가 틀려도 해석은 어떻게 올바르게 될 수 있는지...에 대한 내용이다.

 
2편 링크:

[논문 리뷰] A Survey on Semantic Communications for Intelligent Wireless Networks-2

논문 전문: https://arxiv.org/pdf/2202.03705
 
출처: Iyer, S., Khanai, R., Torse, D. et al. A Survey on Semantic Communications for Intelligent Wireless Networks. Wireless Pers Commun 129, 569–611 (2023).
 
Cross Layer Design(CLD)은 기존 TCP/IP 계층 구조를 유지하면서도
서로 떨어진 계층 간 정보 공유를 가능하게 하는 기법이다.
이를 통해 전력 소모 감소, 지연 단축, 에러율 개선 등
6G 환경에서 요구되는 높은 QoS와 효율적인 네트워크 성능을 달성할 수 있다.

---

Cross Layer Interaction

CLD를 통해 얻을 수 있는 성능 향상 4가지

1) Security 

계층별로 중복되는 암호화 작업을 줄여, 효율적인 보안 처리
 

2) Quality of Service 

비인접 계층 간 정보 공유를 통해 전반적인 QoS를 향상
 

3) Mobility

연결 단절 없이 부드럽고 안정적인 통신 유지

 
4) Wireless Link 

채널 페이딩, 비트 오류율의 감소 목표

CLD가 해결가능한 문제

 
핸드오버 과정에서 생기는 하위 계층의 복잡한 동작은 상위 레이어에 숨기는 것이 좋지만,
상위 레이어도 핸드오버의 발생 사실 자체는 알아야 한다. 
그래야 TCP나 애플리케이션이 지연 변화나 연결 경로 변경에 적응할 수 있기 때문이다.

CLD는 계층 간 반드시 필요한 정보는 공유하나, 불필요한 세부 정보는 숨기는 방식으로 최적화할 수 있다.

---

Satellite Protocol Reference Model

Satellite protocol architecture

 
ETSI TC-SES/BSM에서는 위성 기반 IP 네트워크 구조를 정의하고 있으며,
이 구조는 figure 5와 같이 크게 위성 종속 계층(하위)과 위성과 독립적인 일반 IP 계층(상위)으로 구성된다.
두 계층은 SF-SAP(satellite-free service access point)라는 인터페이스로 연결되며,
이 인터페이스를 통해 필요한 최소한의 기능(자원 관리, QoS 제어)만 상·하위 계층 사이를 지나간다.
이 두 계층을 연동(cross layer design)하려면, SF-SAP을 통해 더 많은 신호와 제어 정보를 주고받을 수 있도록
표준에 새로운 primitive(신호/제어 메시지)를 추가해야 하는 과제가 존재한다.

---

Fractal Cross‑Layer Service with Semantics 
이 문단에선, 차세대 IoT 서비스의 특징과 도전 과제에 대해서 다룬다. 
 
차세대 IoT는 똑똑하고 빠르게 반응하는 서비스를 만들기 위해, 어디서나 작동할 수 있는 서비스 구조와 잘 만들어진 플랫폼, 그리고 상황을 정확히 판단하는 서비스 모델을 특징으로 한다. IoT는 다양한 기기가 연결되는 환경을 만들 수 있지만, 이 모든 것을 자연스럽게 묶어서  통합 플랫폼(Cross-Layer 플랫폼)을 만드는 일은 아직도 큰 과제다.
 
예를 들어, 센서 기반 기술에서는 IoT가 단순히 장치만 연결하는 것이 아니라, 상황을 판단하고 필요한 서비스를 제공하는 스마트 서비스 시스템처럼 동작한다. 또한. IoT 서비스는 기존 인터넷 서비스에서 벗어나 모바일 네트워크나 무선 센서 네트워크 같은 다양한 환경에서도 제공된다.
 
하지만 IoT가 제공해야 하는 서비스는 종류가 너무 다양하고, 기술 환경도 자주 변하기 때문에 시스템이 계속해서 변화에 맞게 적응해야 하는 어려움이 있다. 이런 문제를 해결하기 위해 연구에서는 웹 서비스 기술이나 시맨틱 기술 같은 방법을 사용해 서비스 간의 통합, 공유, 검색, 상호운용성을 도우려고 한다. 이런 기술들이 잘 적용되면, IoT는 사용자에게 필요한 서비스를 더 효과적으로 찾아주고, 개인화 된 서비스를 제공할 수 있다.

---

Semantic‑Based and Cross‑Layer Service Platform for IoT Service

여기서 부터는 semantic 통신에 기반한 IoT의 구성도에 대해서 이야기한다. 전반적인 내용이 추상적이어서 정리하면서 잘 와닿지가 않았다. TCP/IP 7계층 공부하듯 공부하면 될 거 같다. 

 
그림 6은 semantic 통신에 기반한 IoT 서비스 구조다. 이 구조는 시맨틱 설명과 IoT 온톨로지, 그리고 그에 따른 서비스 운영 구조로 구성된다. 아키텍처 내부에는 IoT 서비스 자원을 설명하는 핸들러 온톨로지가 포함되며, 사용자의 실제 요구를 찾기 위해 서비스 온톨로지와 품질(Quality) 온톨로지가 활용된다. 또한 IoT 환경에서 얻어진 상황 정보를 의미적으로 주석 처리하기 위해 컨텍스트 온톨로지가 사용되며, 이를 통해 사용자에 맞춘 개인화되고 적응된 서비스 제공이 가능해진다.서비스 온톨로지는 새로운 서비스를 생성하고 등록하며, 플랫폼 전체에 걸쳐 서비스가 유지·관리될 수 있도록 한다.
 
이 프레임워크는 서비스 탐색(discovery), 조합(composition), 선택(selection) 기능을 포함하며, 서비스 조합은 사용자의 요구를 세분화한 뒤 필요한 기능을 묶어 구성된다. 서비스 탐색 기능은 사용자 요구에 기반하여 기능적으로 요구를 충족하는 서비스 집합을 도출한다. 또한 서비스 자원은 필요에 따라 **분산 방식(decentralized)**으로 조직·관리될 수 있다.
 
마지막으로 서비스 선택 단계에서는 요청자의 특성에 맞추어 가장 적합한 서비스를 선택하게 되며, 상황마다 다양한 탐색·선택 전략이 적용된다. 이때 서비스, 품질, 컨텍스트 온톨로지가 semantic 기반 지원 기능을 보장한다. 아키텍처의  최외곽에는 프라이버시· 보안·신뢰 계층이 존재하여 전체 서비스가 운영될 수 있도록 보증한다.

---

Scalable Semantic Image Compression with CLD Approach

다음으론 이미지 compression을 semantic 통신에 맞춘 새로운 방법들이 여럿 제시된다.
이 부분에 대한 공부가 부족한지 몇몇 내용은 해석을 봐도 잘 이해되지 않는다. 

 
기존의 이미지 압축 방식은 사람이 보기 좋게 압축하나, 이는 semantic 관점에선 비효율적이다.
이에 따라 새로운 semantic 압축 방식이 생각될 수 있다. 
이러한 압축 방식은 대략적인 의미에서부터 이미지 자체까지 순차적으로 압축하는 방식,
 
- 이미지를 한꺼번에 압축하는 대신

1. 대략적인 의미(coarse semantic)
2. 정교한 의미(fine semantic)
3. 이미지 자체(raw image)
   이렇게 단계별로 압축해 필요한 정보만 선택적으로 전송하는 방식.

예시:
고양이 사진을 예로 들면,

• 1단계: “동물이다”, “4발이다” 같은 기본 의미만 전송
• 2단계: “샴 고양이”, “귀 모양”, “털 패턴”처럼 세부 의미 추가
• 3단계: 마지막으로 실제 이미지 픽셀을 전송

---

Layer 간 중복 정보를 줄이는 방식이 있다. 
 
예를 들어 “고양이 귀”라는 특징은

• CNN의 중간 layer에도,
• deeper layer에도,
• 이미지 픽셀에도 모두 존재함.

---

그리고 semantic 정보가 중요한 부분(RoI)과 그렇지 않은 부분을 구분하여 압축하는 방법이 있다. 
 
예시
CCTV에서 “사람”이 가장 중요하고,
하늘/벽/바닥은 중요하지 않은 경우:

• 사람 영역 → 높은 품질(semantic-rich)
• 배경 영역 → 낮은 품질

---

 
지능형 멀티미디어 시스템의 발전으로 사람의 시야로만 늘어나는 정보를 처리하기가 어려워져, 
머신비전과 딥러닝으로의 기계 시야 처리가 발전했다. 
그러나 인간의 이해와 결정 능력은 대체할 수 없기 때문에, 
기계와 인간의 상호작용을 고려한 인간, 기계를 모두 만족시키는 압축 방식이 고려되어야 할 것이다. 
 
기존의 멀티미디어 시스템은 압축후, 분석(Compress-then-Analyse)을 진행했다. 
그러나 이 방식에서 문맥적인 의미는 소실되고, DNN의 사용은 서버 자원이 많이 요구된다. 
이에 따라 기존 압축 방식은 기계-인간 상호 작용에 실패한다. 
 
이 한계를 해결하기 위한 방식이 analyse-then-compress이다. 이 방법은 이미지 전체를 압축해 전송하는 대신, 먼저 딥러닝(DNN)이 추출한 feature를 계산한 후 이것을 다시 압축해 전송한다. 이렇게 하면 수신기는 원본 이미지를 복원하지 않고도, 전달받은 특징만으로 훨씬 간단하게 분석 작업을 수행할 수 있다.
 
다만 이 방식에도 단점이 있다. DNN이 추출하는 특징은 여러 계층의 구조를 가지며,
계층이 높아질수록 이는 특정 작업에 한정적으로 변한다.
이런 추상적이고 특정 작업에 집중된 정보는 다른 작업에 일반화하기 어려워 유연하지 못하다는 단점을 갖는다. 
 
최근에는 이미지에서 추출한 중간 특징(feature)을 직접 압축하는 방식이 주목받고 있다. 이 방식은 연산 부하를 프런트엔드로 분산시키면서도 특징의 일반화 능력을 일정 수준 유지할 수 있다는 장점이 있다. 하지만 특징 추출 과정에서 원본 정보가 일부 손실되기 때문에, 이러한 특징만으로는 원본 이미지를 복원하기 어렵고, 결국 인간이 필요로 하는 상상·판단 기능을 지원하기 힘들다.
 
- 여기서 중간 특징을 압축한다는 것은.. 앞서 다루었던 단계별로 압축한다는 내용과 비슷하다
이미지 자체를 압축하기보단, 아래 예시와 같이 중간 레이어의 특징만 추출한다는 뜻이다. 
이렇게 되면 이미지 전체를 보내는 것보다 데이터 양이 감소한다!
 

• 초기 레이어(feature) = 아주 기본적인 정보
• 중간 레이어(intermediate features) = 물체의 구성 요소나 구조 정보
• 고층 레이어(final features) = ‘고양이’, ‘자동차’ 같은 의미(semantic)

 
 
따라서 이미지(raw 신호)와 특징(feature)을 동시에 전송·압축하는 방식이 가장 이상적이다. 이 방식에서는 수신기가 분석에 필요한 특징만 요청하거나, 사람이 볼 수 있도록 이미지 신호도 받을 수 있어 유연성이 높다. Fig. 7a와 같이 이미지와 특징을 동시에 전송하면 사용성과 적응성은 좋아지지만, 두 신호 간의 중복성이 줄어들기 때문에 압축 효율은 다소 떨어질 수 있다.

 
전통적인 통신에서는 비트(문법적 정보, syntactic layer)에 오류가 생기면 패킷 전체를 재전송해야 한다. 하지만 시맨틱 통신에서는 전송된 비트가 정확하더라도 의미가 잘못 해석되면(semantic error) 재전송이 필요하다. 즉, 오류 기준이 ‘비트’가 아니라 ‘의미’가 된다.
 
시맨틱 통신에서는 수신기가 받은 정보의 의미가 불명확할 때, **“의미 재전송 요청(semantic feedback)”**을 전송기로 보낼 수 있다. 이 방식은 단순 비트 나열이 아닌, 의미 수준에서 피드백을 주고받기 때문에 기존 방식을 보완할 수 있다.
 
또한 syntactic–semantic 간 cross-layer 상호작용이 가능하다. 예를 들어, 수신기가 의미를 충분히 잘 이해하고 있다면, 송신기에게 **“더 적은 비트만 보내도 된다”**는 피드백을 보낼 수 있다. 이를 통해 불필요한 데이터 전송량과 에너지를 줄일 수 있다.
 
이 방식은 비트 오류가 남아 있더라도, 의미를 복원할 수 있다면 재전송 없이 의미 기반으로 오류를 바로잡는 새로운 통신 구조를 가능하게 한다. 특히 mmWave처럼 신호가 자주 끊기는 5G 환경에서도, 의미 기반 모델을 활용하면 전송 실패 시에도 의미를 재생성할 수 있다.
 
결국, 송신기와 수신기가 **공유한 지식(semantic shared knowledge)**을 바탕으로 의미 오류를 복원할 수 있기 때문에, 재전송을 줄이고 효율적으로 통신할 수 있지만, 수신기 쪽의 처리 복잡도는 증가한다.

---

전통적인 syntatic 통신에선 데이터가 손실된 경우, 재전송이 요구된다. 
그러나 semantic 통신에선 전달된 의미나 문맥이 이해되지 않을 경우 재전송이 요구된다. 
semantic 통신에서 이 재전송은 의미 중심의 피드백이다, 이는 대역폭을 절약할 수 있게 해준다. 
 
또한 syntatic, semantic 계층은 서로 정보 교환이 가능하다.
예를 들어, semantic 해석이 잘되면 전송자에게 비트 전송율을 줄이라고 피드백 할 수 있다.
이는 대역폭과 에너지를 절감한다.
 
또한, syntatic 에러가 발생해도 의미 전달은 잘 될 수 있다. 
특히 5G mmWave처럼 신호가 자주 끊기는 환경에서는 원본 데이터를 못 받아도
예측 모델 + 시맨틱 재구성으로 의미를 복원할 수 있다.
 
결론적으로 송.수신단의 정보 교환은 재전송 없이 에러 수정을 가능하게 한다, 수신단의 복잡도는 증가하지만...