[논문 리뷰] A Survey on Semantic Communications for Intelligent Wireless Networks-4

 

 

이번 편에서는 semantic 통신의 활용과 도전과제에 대해 정리해보려고 한다.

논문의  4 Applications of Semantic Communications, 5 Issues and Challenges 부분에 해당한다. 

전반적으로 말로 서술(?)하는 내용이라 이전 파트들에 비해 수학적으로 복잡해 보이지 않는다.  

그러나.. 내용이 추상적이고 잘 와닿지 않아 gpt를 활용해 최대한 예시를 들어보려 한다!

 

3편 링크:

[논문 리뷰] A Survey on Semantic Communications for Intelligent Wireless Networks-3

 

 

논문 전문: https://arxiv.org/pdf/2202.03705
 
출처: Iyer, S., Khanai, R., Torse, D. et al. A Survey on Semantic Communications for Intelligent Wireless Networks. Wireless Pers Commun 129, 569–611 (2023).

 

---

Applications of Semantic Communications

 

Holographic Communications

 

한 장면의 여러 시야를 보여주는 홀로그램 기술에서 semantic 통신이 필요할 것으로 생각된다. 

이 기술은 송.수신단의 공통 지식 기반을 통해서 이루어질 수 있으나, 수신단의 연산 복잡도도 동시에 증가할 것이다. 

이 문단에선, 인간의 뇌가 정보를 처리하는 방식을 예로 들어 Semantic 통의 미래를 설명한다.

 

뇌는 이미 알고 있는 정보들로 외부 세계를 미리 예측한다.

눈의 망막은 엄청나게 많은 시각 신호를 만들어내지만, 뇌의 예측과 달라지는 부분만 뇌로 전송된다. 

따라서 예측 가능한 부분은 전송할 필요가 없어져 에너지가 절약된다. 

이러한 방법처럼 차세대 통신 시스템에 정보 전송 방식이 적용될 수 있다. 

---

Speech Communications

 

NLP(자연어 처리)의 발달로 음성을 문장/단어 단위로 이해할 수 있게 되었다. 

이에 따라 비트 수준의 오류는 더욱 넓은(?) 단위인 단어/문장 레벨로 수정할 수 있게 되었다. 

Forward Error Correction 또는 재전송(retransmission) 대신 문맥을 중심으로 의미를 복원할 수 있다. 

 

또한 음성 텍스트 변환과 언어모델을 통해 효율적인 음성 통신을 할 수 있다. 

음성 → 음소 → 알파벳 → 단어 → 문장

음성에서 음소 단위를 추출하고 음소를 알파벳과 매칭한 후, 

언어 모델을 통해 단어/문장 단위로 바꿔 사람이 알아들을 수 있게 해 준다. 

 

수신기에 필요한 의미적 텍스트 정보만 전송하기에, 다른 음성 특징(억양, 감정, 목소리 톤 등..)

은 전송되지 않아 데이터량이 감소한다. 

또 고용량인 음성 데이터를 텍스트로(알파벳/단어/시퀀스) 바꾸어 네트워크 부담을 줄일 수 있다. 

---

Video Communications

 

비디오가 네트워크 자원을 많이 소모하기 때문에 의미 기반(semantic) 전송에 따른 기대치가 크다. 
이전 프레임을 기반으로 DNN 기반 프레임 예측을 사용하면,

syntatic하게 동일하지 않아도 의미적으로 동일한 영상을 재구성할 수 있다.
이 방식은 전송 전력과 대역폭을 크게 절약할 수 있다!

 

다른 관련 기술로 비디오 내 의미 단위를 분할은 ‘semantic segmentation’이 있다.

이 예로, 머신 비전에서 화면 내의 대상들은 classify하는 것이 있다.
이는 객체 감지, 장면 이해, 장면 분석 등의 전처리 단계로 활용되며 영상의 개념적 구조를 파악할 수 있게 한다.
결과적으로 semantic segmentation은 객체 탐지·형태 인식·분류의 기본 요소가 된다.

---

Goal Oriented Communications

 

Goal-oriented communication은 Level 3(Effectiveness) 계층에서 핵심 역할을 하며,

모든 데이터를 보내는 대신 가장 관련된 정보만 전송하여 네트워크를 최적화하는 방식이다.

기존 연구는 송수신자 간 프로토콜·언어 불일치로 발생하는 문제에 집중했지만,

이 논문은 성능이 목표 달성에 따라 결정되는 구조에 대해 다룬다.
따라서 effectiveness는 주어진 자원 안에서 목표를 얼마나 잘 달성했는지로 평가된다.
예를 들어 6G THz 대역에서 할당된 주파수 범위 내에서 목표를 달성해야 하는 상황이 있다.

아래와 같은 연구들이 이에 해당한다

 

• [59]: 엣지 학습 환경에서 지연–전력·정확도 트레이드오프를 분석
• [60]: 엣지 ML + SGD 환경에서 지연–정확도 간 균형점을 찾기 위해 패킷 페이로드 크기를 최적화
• [61]: 주어진 지연 제약 하에서 학습 정확도를 최대화하는 알고리즘 제안
• [62]: 무선 단말의 엣지 환경을 위한 분산 ML 알고리즘을 설계, 전체 손실 함수를 효과적으로 감소

---

 

Fig. 8 구조는 Decision maker의 결과를 소스 인코더로 피드백하여,

인코딩 방식을 '목표 달성'에 맞게 조정되도록 하는 것이다. 

Classification을 하거나 파라미터를 학습할 때, 송신기는 데이터 M을 그대로 보내지 않고, 

목표 달성에 필요한 정보만 포함한 D로 매핑한다. 

기존 소스 코딩은 재구성 품질에 집중하지만,

이 새로운 구조에서는 결정 시간과 자원 사용량을 최소화하면서 분류 정확도를 높이는데 집중한다. 

결과적으로 소스 인코더는 수신기(learner)의 성능과 목표 달성률에 맞춰 조율되는 Goal-Oriented Encoder가 된다.

 

 

 

우리는 M 전체를 보내는 대신 f(M) = D라는 요약본만 전송한다.

D만 전송되기에, 추정해야하는 변수 θ는 D만으로 추정되어야 한다. 

그렇기에 D가 가진 θ에 대한 정보는 M과 같아야 한다.

이를 수학적으로 나타내면:

$$
I(M\,;\,\theta) \;=\; I(D\,;\,\theta)
$$

 

이를 말로 하면: " f(m)은 θ를 추정할 때 M의 충분통계량이다" 라고 한다. (sufficient statistics)

그리고 이렇게 충분통계량이 존재하면, M과 θ의 결합확률은 분해 가능한 형태로 나타난다

이러한 데이터의 결합 함수(joint pdf)는 수학적으로 다음과 같다: 

$$
p(m,\theta) \;=\; g_{\theta}\!\big(f(m)\big)\,h(m)
$$

 

이러한 충분 통계량은 여러개가 존재할 수 있다, 이들 중에서 가장 최소가 되는

최소 충분 통계량(minimal sufficient statistic), f(m)을 찾는 것이 중요하다. 

이 최소 충분 통계량은 다른 모든 충분 통계량의 함수가 된다, 쉽게 말하자면 가장 짧은 요약본이다. 

파라미터 θ를 추정할 때, 원본 데이터 M 대신 f(M)만 보내도 정보 손실 없이 동일한 추정 결과를 얻을 수 있다.

또한 f(M)의 엔트로피가 M보다 적, 데이터 전송량을 줄일 수 있다. 

---

 

최소 충분통계량을 찾기 어려운 경우, Information Bottleneck(IB) 원리를 이용할 수 있다. 

이는 인코딩 함수 D=f(M)을 찾는 원리인데, 데이터 압축률과 정보 유지율 사이의 trade off를 이용한다. 

$$
\min_{f(M)} \; \Big[\, I(M;D) \;-\; I(D;\theta) \,\Big]
$$

I(M;D)

• 원본 데이터 M과 압축 표현 D사이의 정보 공유량을 나타낸다.
• 압축을 많이 할수록, M과 D사이의 정보 공유량은 적어진다.
• 즉 이는 압축을 얼마나 적게 했는가를 나타내는 지표이다. 

I(D;θ)

• 압축된 표현 D가 추정해야 하는 파라미터 θ에 대해 갖는 정보량
• 즉, 목표 수행에 도움이 되는 의미 정보량이다. 
  → 값이 클수록 θ 추정 정확도가 높음.

정리하자면, Information Bottleneck 원리는 이 두 정보량의 차를 최소화하는 것이기에

압축은 최대한 많이 하면서(I(M;D) ↓) 목표 달성에 필요한 의미 정보(I(D;θ))는 최대한 유지하는 

인코딩 함수 D=f(M)을 찾는 것이다.

 

여기서 λ는 두 정보량의 균형을 조절하는 가중치로,
작으면 압축을 우선하나 정확도(accuracy)는 떨어지고,
크면 정확도를 우선하나 전송 압축률이 낮아진다.

또한 λ는 채널 상태나 학습 정확도 요구사항에 따라 동적으로 조절되어, 전력·지연·정확도 간의 최적점을 찾아낸다.
일반 해는 ‘Information Bottleneck’ 기법을 반복 적용하여 구하며,

이는 오토인코더 기반 학습에서 효과적으로 사용된다.

---

 

Online Learning Communications

 

6G에서는 네트워크 엣지에서 AI 기능이 확대되며, 더욱 기여할 것이다.

“통신을 위한 ML”을 통해 통신·컴퓨팅·제어·네트워크 인프라 전체에서 ML 기반 최적화가 가능해진다.

또한, “ML을 위한 통신”을 통해  semantic-aware, 초저지연 서비스를 실현할 수 있다. 

위와 같은 기능을 지원하기 위해서 6G 네트워크는 요구사항 및 자원 제약에 따라

스스로 동작을 조정할 수 있는 학습 기반(network learning) 설계가 필수적이다.

더 나아가 ML(귀납적 방식)과 Semantic(연역적 지식·문맥)을 결합하면,

ML은 문맥 정보를 활용해 학습 정확도·데이터 효율·보안 강건성을 높이고,

Semantic Communication은 ML을 활용해 문맥 추론 능력을 강화할 수 있다.
결과적으로 6G는 ML과 Semantics를 상호 보완적으로 통합해 학습 능력·문맥 활용·효율성·강건성을 동시에 향상시키는 방향으로 발전한다.

---

 

Intelligent Communications

 

6G 서비스는 다양한 지연에 대처하기 위해, 통신·연산·인프라·제어가 동시에 고려된 종합 의사결정 구조가 필요하다.
이를 위해 연산을 클라우드가 아닌 사용자 가까운 엣지에서 수행하여 통신, 연산, 자원 접근 지연을 모두 최소화할 수 있다.

기존 연구들은 셀룰러 엣지 컴퓨팅, 엣지 컨트롤러등을 다뤘지만 전송 데이터에 따른 지연·전력 소비 문제는 고려하지 않았다.

이에 따라 최근 연구들은 통신 자원과 연산 자원을 동시에 최적화(joint optimization)하여 초저지연 서비스를 구축하려 한다. 

콘텐츠를 지능적으로 전달하기 위해, 인프라를 동적으로 활용하는 것이 필요하다. 
엣지 인프라에 콘텐츠가 미리 저장되어 있으면, 요청이 발생하자마자 즉시 제공할 수 있어 지연을 줄일 수 있다.

 

여기에 예측 알고리즘이 활용된다:

 

• 네트워크는 예측 알고리즘으로 사용자 수요를 분석해
  콘텐츠를 실시간으로 저장·삭제·배치한다.
• 예측 알고리즘은 인프라 위치, 저장 상태, 라우팅 경로 등의 정보를 기반으로 이루어진다.
• 사용자는 edge에서 콘텐츠에 지연 없이 빠르게 접근할 수 있다.

 

이러한 구조에 대한 연구와 관련되어, 기존에는 관련 콘텐츠 전송에 관한 정책들이 주요 고려 대상이었다. 

그러나 semantic 통신에선 이에 더 나아가 지식 기반 시스템과 기기들을 어떻게 전송할지가 고려된다. (base of knowledge) 

 

지식·모델·콘텐츠가 네트워크 내부에 분산될수록 대역폭, 지연, 프라이버시, 보안 문제가 함께 증가한다.  

이에 대한 해결책으로 coded distributed computing 기법이 제안되는데,

이는 코딩이론을 사용해 계산 작업을 네트워크에 구조적으로 나누는 방법이다.

또한, 중복을 활용하는데... 계산을 이렇게 나눈다:

• 서버 A: 작업 1 + 작업 2 일부
• 서버 B: 작업2 + 작업 3 일부
• 서버 C: 작업3 + 작업 1 일부

---

 

Machine Learning for Wireless Networks

 

 

 Supervised Learning

• 높은 성능을 위해 대량 라벨 데이터가 필요하다. 
• 라벨링 과정에서 수작업(Manual Intervention)이 많이 요구된다.

Unsupervised Learning

• 라벨링이 필요 없으며, 데이터 내부에서 패턴, 군집 구조를 자동으로 찾는다.
• 사람이 개입해야 하는 과정이 거의 없다.

Graph-enabled Approaches

• 데이터를 그래프 구조로 표현해
  변수 간 쌍(pair-wise) 관계를 학습한다.
• 하지만 두 변수 간 국소적 관계만 반영하기 때문에 데이터가 가진 전체적인 구조는 충분히 포착하지 못한다.

---

효과적인 통신망을 위해, 딥러닝을 통해 네트워크 엣지에서의 예측 기반 운영이 필요하다.

지난 10년간 supervised learning은 음성 인식과 이미지 분류 등에서 높은 성능을 보였다. 

 

하지만 DNN의 내부 동작은 비선형 최적화 과정에 의해 입.출력의 관계를 설명하기가 어렵다. 

이에 따라 설명 가능한 AI(Explainable ML)가 중요성이 커지고 있다.

Explainable ML의 핵심 과제는 모델이 입력과 출력 결과의 연관성을 사용자가 이해 가능하게 제공하는지 이다.

 

또한 CNN은 계층 간 연결을 자연스럽게 희소화(sparsify)하는 구조 덕분에 이미지·음성 처리에 적합하다.

더 나아가 최근 연구는 graph-enabled representation + ML을 결합하는 방향으로 확장되고 있다.

 

Supervised learning은 시뮬레이터를 활용해 대규모 라벨 데이터를 생성할 수 있어 통신 네트워크 학습에 유리하지만,

시간에 따라 채널이 변하는 무선 환경에서는 적합하지 않을 수 있다.

 

이러한 상황에서는 테스트와 학습을 동시에 진행하며 실시간으로 갱신하는 온라인(dynamic) 학습 방식이 더 효과적다.

예를 들어, 온라인 학습은 현재 채널 변화, SNR, 간섭 환경에 따라 파라미터를 업데이트하여 적응한다. 

이런 온라인 학습 방식은 대표적으로 강화학습(RL)과 랜덤 최적화 기법이 있다.. 

RL은 사전 모델 가정 없이 에이전트가 자신의 행동 결과를 관찰하며 학습하고,

랜덤 최적화는 현재 시점의 정보에 따라 파라미터를 지속적으로 적응적으로 업데이트한다.

 

여기서 더 나아가, 그래프 엣지 관측을 다루는 topological signal processing(TSP)을 이용해 다중 관계를 반영하는 방식도 있다.

ML은 물리계층에서 AE, RNN, GAN으로 활용될 수 있으며,

네트워크 상위 계층까지 복잡한 AI 프레임워크 형태로 확장될 수 있다.

 

6G에서는 네트워크 엣지에서의 학습이 중요해지는데, 이에 따른 과제가 존재한다.

다수의 사용자 단말(UE)에 의해 생성된 대규모 데이터 처리를 위해선 협력 학습(collaborative learning)이 필요하다. 

그러나 여러 단말 간 데이터 교환은 프라이버시/보안 문제를 유발한다.

이를 해결하기 위해 FL은 데이터는 단말에 두고, 모델 파라미터만 중앙 서버와 공유한다. 

단말은 로컬 데이터를 이용해 모델을 학습하고, 서버는 파라미터만 모아 전역 모델을 갱신한다.

이를 통해 보안/프라이버시 문제를 해결할 수 있다. 

---

FL 네트워크는 다음과 같은 목적 함수를 갖는다:

​$$
\min_{m} \sum_{i=1}^{N} p_i \, f_i(d_i ; m)
$$

 

• \( f_i(d_i ; m) \) : 단말 i가 가진 데이터 d와 모델 파라미터 m사이의 손실 함수(empirical loss function)
• m : 학습되는 파라미터 벡터
• \( p_i \): 가중치로 단말 데이터의 중요성을 나타낸다
• \( p_i \ge 0 \) and \( \sum_{i=1}^{N} p_i = 1 \)으로 정의
• 가중치는 다음과 같이 결정된다:\( p_i = \frac{n_i}{\sum_{i=1}^{N} n_i} \)
• \( n_i \): 단말 i의 데이터 수

즉, 단말의 손실을 가중치로 평균한 값을 최소화하는 파라미터 m을 찾는 수식이다!

 

FL은 각 iteration마다 단말이 로컬 데이터 \( m_i \) 대신 로컬 파라미터 추정값 \( \hat{m}_i[n] \)만 허브로 전달하고,

허브는 이를 모아 업데이트 값을 다시 단말에 보내는 방식으로 동작한다. 이 방식은 convex 조건에서 최적해로 수렴하지만,

단말 간 채널 품질(느리거나 빠름)과 로컬 모델 동작 차이(데이터 종류가 다름) 때문에 성능 저하 문제가 발생한다.

이를 해결하기 위해 단말별 특성을 반영하는 multi-task FL 기법이 활용될 수 있다.

 

 

ML은 데이터의 상관관계를 찾는 귀납적(inductive) 학습 방식이지만,

인간은 경험과 지식을 기반으로 의미를 추론하는 연역적(deductive) 학습 방식을 따른다.

ML 모델은 데이터와의 연관성만을 찾기해 문맥을 이해하지 못해, 모호성을 갖는다.

이에 따라 실제로는 의미(semantic)를 읽어내는 것이 더 높은 가치를 가진다.

미래의 ML 기술은 외부 지식과 맥락 정보를 의사결정 과정에 포함하면서 더욱 발전하게 될 것이다.

Semantic 통신에선 지식 정보를 공유해야 하기에, 목표 달성 관점에서 네트워크 자원을 최적화하는 ML 기술도 발전할 것이다.

새로운 ML 기법들은 전이학습(transfer learning)과 지식 공유(knowledge sharing)를

포함하기 때문에 지금보다 훨씬 효율적이고, 신뢰성이 높을 것이다.

 

 

• Transfer Learning
  이미 다른 곳에서 학습한 모델이나 지식을 가져와 재사용함
  → 학습 비용 감소, 적은 데이터로도 높은 성능
• Knowledge Sharing
  네트워크 노드들이 “지식(semantic information)”을 서로 교환
  → 더 일관된 해석, 높은 정확도, 오류 감소

---

Issues and Challenges

이제 semantic 통신 네트워크와 관련된 다양한 과제들이 다루어진다. 

미래 기술들에서 발생할 수 있는 여러 문제들이 제시된다. 

 

• Immersive XR 
  XR(AR+VR)은 사람 특 초정밀 센싱, 초저지연, 초고속 데이터 전송을 필요로 하며, 대규모 AI/ML 모델 기반의 실시간 훈련·추론 환경이 필요하다. 
• Holographic Communication
  3D 홀로그램 전송을 위해 색, 촉각, 동작 등을 고해상도로 처리해야 하며, 이를 위해 semantic encoding/decoding 속도와 효율을 높여야 한다.
• All-Sense Communication
  촉각·센서·환경정보 등 모든 감각 데이터를 통합하는 구조는 데이터 차원과 복잡도를 크게 증가시키기에, 이를 효율적으로 처리할 방법이 필요하다. 
• Compressed Sensing 
  syntatic 환경과 달리 완전 복원 없이 압축 데이터를 처리하므로, 신호 희소성과 의미 정보를 결합한 새로운 최적 샘플링 이론 및 지연·에너지 효율 설계가 필요하다. 
• 패킷 구조·피드백·재전송 설계 개선 필요
  의미 기반 전송에 맞게 패킷 구조를 설계하고 실시간 채널 변화에 맞는 새로운 피드백, 실제 채널 환경에서 재전송, 비-비대칭블록 길이에서 달성 가능한 오류율에 대한 연구가 필요하다. 
• 스케줄링·자원할당·에너지 최적화 문제
  의미 기반 새로운 Metric 정의, 사람마다 다른 인지·경험을 반영하는 지표 개발, 효율적 자원할당·접속제어 정책이 필요하다.
• Knowledge-enabled Network의 복잡성 증가
  사용자 가까이에 지식을 공유하기 위해, 지식 업데이트·추적·성능 상한 분석을 위한 수학적 프레임워크 구축이 필요하다.
• Quantum Semantic Representation의 도입 
  의미 추론을 효율적으로 수행하기 위해 quantum embedding, quantum ML, Hilbert 공간 등 양자 표현·연산 기술 연구가 요구된다. 

---

Conclusion

Semantic Communication은 “전송 데이터의 ‘의미’만 정확히 전달하면 된다”는 관점으로
기존의 “원본 비트·심볼을 정확히 재현해야 한다”는 Shannon 방식과는 다르다.

즉, 의미 해석에 필요한 것만 전송하여 효율성을 높이는 통신 방식이다.

 

Semantic이 기존 통신 방식보다 우수한 이유

(1) 의미·맥락 중심 전송

• 목적은 전송 데이터 전체가 아닌 의미만 정확히 해석한다. 
• 불필요한 데이터 전송을 줄이고, 통신·계산·자원 사용을 절약할 수 있다. 

(2) End-to-End Joint Design

• 전통 방식: 모듈(압축·인코딩·디코딩)을 개별로 최적화
• Semantic 방식: 송신–수신 전체 구조를 하나의 통합 시스템으로 설계

(3) Processing Domain 

• 전통 통신: Syntactic Domain(비트·심볼 중심)
• Semantic 통신: Semantic Domain(의미 중심) → 목적 달성에 필요한 정보만 처리

(4) Goal-Oriented Communication

• 통신 목적 달성에 필요한 정보만 전송하므로 효율성, 신뢰성, 자원 절약이 모두 가능함.
• 더 많은 대역폭·전력 없이도 고효율 통신 가능
• 지속가능한 6G 네트워크 구축에 핵심

남아 있는 핵심 연구 과제

Semantic Communication을 실제 시스템에 적용하기 위해서는 다음 세 가지 영역의 추가 연구가 필요하다.

(1) 분산 학습·컴퓨팅 기반 의미 추출

• 네트워크 전체가 협력해 학습하고 정확한 의미(context)를 추출하는 기술이 필요하다. 

(2) 지식 표현 시스템 개발

• semantic 정보를 어떤 구조로 저장하고 표현할지에 대한 효율적인 지식 구조가 필요하다. 

(3) 목표 중심 통신을 위한 핵심 데이터 선택

• 많은 양의 데이터 중"목적 달성에 필요한 핵심 정보"만 뽑아내는 기술이 중요하다.

---

새로운 학습 패러다임으로의 변화

이러한 과제들이 해결된다면... 새로운 통신·학습 프레임워크가 완성된다. 

• 단순한 Inductive Learning(예시 기반 학습)에서 벗어나
• Inductive + Deductive(추론 기반) 혼합 학습 구조로 진화
• 의미 기반 정보와 축적된 지식을 활용해 더 높은 수준의 지능형 학습·통신 시스템이 가능해질 것이다.

데이터에서 의미를 해석하고, 그 의미로 다시 학습을 가이드하는 새로운 통신·학습 프레임워크.

 

향후 연구 방향

이 논문에선 다음 세대 네트워크에서 Semantic Communications 연구를 가속화하기 위해 다음 방향을 제안한다.

이는 Conclusion에 나타나 있진 않지만 앞에서 우리가 이 내용에 대해서 다루었다. 

• Semantic 기반 지식 모델 향상
• 의미 추출·추론을 위한 ML/AI 고도화
• 에지·클라우드 협력 구조
• 자원·지연·정확도의 trade-off 최적화
• 실사용 환경에 맞는 end-to-end design 설계

---

이렇게 여기까지 semantic 통신에 대한 survey 논문에 대해 공부해 봤는데 하나하나 요약하기엔 전반적으로 중복되는 내용도 많고

비슷한 말을 돌려하는 내용도 많은 거 같다. 

 

그럼에도 semantic comm에 대해 필요한 개념들을 학습할 수 있었고 수학적인 모델들도 다루며 필요한 인사이트를 얻을 수 있었던 거 같다! 겉 내용이 조금 추상적인 부분도 있지만 그것들을 조금 더 구체적으로 이해한다면 더 좋을 거 같다..