Semantic Image Copression 실습

 

 

 

[논문 리뷰] A Survey on Semantic Communications for Intelligent Wireless Networks-3

 

Semantic 논문 리뷰에서 다루었던 cross-layer design에 관한 내용 중,

semantic 압축 방식으로 제시된 figure가 아래와 같이 있었는데

이에 대해 Coalb 시뮬레이션을 통해 더 잘 이해해보고자 한다

Semantic Image Compression

 

출처 : Iyer, S., Khanai, R., Torse, D.   et al.  A Survey on Semantic Communications for Intelligent Wireless Networks.  Wireless Pers Commun   129 , 569–611 (2023).

(a)는 각 작업(Task)의 필요에 따라 따로따로 인코딩/압축하는 구조이다. 

Task마다 다른 인코더를 사용해서

• Task A용 압축
• Task B용 압축
• Task C용 압축
• 원본 이미지 재구성용 압축
  을 각각 따로따로 생성한다. 

이에 따라 Task별 독립된 bit stream이 만들어지고, 수신단에선 이들을 각각 디코딩 한다. 

이는 중복되는 작업이 늘어나 비효율적이다. 

(b)는 한 번만 인코딩해서 여러 작업에 필요한 정보를 계층적으로 나누는 구조이다. 

Encoder가 한 번에 계층별 압축 비트스트림(Scalable Bitstream)을 생성한다.

 

• 상위 layer: 이미지 재구성에 필요한 정보
• 그 아래 layer: Task A 특징
• 그 아래 layer: Task B 특징
• 그 아래 layer: Task C 특징
• 수신 측에서는 원하는 계층까지만 디코딩하면 된다.
  → 예: Task A만 필요하면 Task A 레이어까지만 디코딩

이는 네트워크 자원과 연산량을 절약하는 효과를 낳는다. 

---

코드 구성

 

• 데이터 & Task 구성 : CIFAR-10 데이터셋, 3단계 난이도 Task 라벨링(2, 5, 10개 클래스 구분)
• 공통 Feature 추출기 : “이미지 → 512차원 의미 벡터”로 바꿔주는 인코더
• 모델 (a) – Individual Compression : Task마다 오토 인코더를 하나씩 가진다
• 모델 (b) – Scalable Semantic Compression : 하나의 encoder에서 계층적 latent(z1,z2,z3) 생성 → task별 조합

Task A: z1만 → 2-class

Task B: [z1, z2] 붙여서 → 5-clas

Task C: [z1, z2, z3] 붙여서 → 10-class

• 학습 함수 : feature 복원 MSE, Task 분류 Loss 통해서 학습
• 평가 함수: 복원 feature MSE, Task별 정확도 출력
  (a) vs (b)의 압축 효율 / 성능 비교, 96 vs 48 비트 수 비교

---

실행 결과

 

 

태스크 성능 (Accuracy)

• 모든 태스크에서 Individual이 더 높은 정확도를 보이지만,
  차이는 각각 약 0.002 / 0.006 / 0.025 수준으로 상대적으로 작음.
• Scalable 방식은 성능을 거의 유지하면서도,
  더 적은 차원으로 더 나은 재구성 품질을 달성.

압축 효율

• Individual: 각 태스크별 병목 32차원 × 3 → 총 96차원
• Scalable: 계층적 코드 z1,z2,z3 각각 16차원 → 총 48차원

으로 Scalable 압축이 동일 feature를 표현하는데 필요한 차원을 절반으로 감소시켰다. 

 

재구성 품질 (Reconstruction MSE)

• Individual: 484.6
• Scalable: 175.0
  → Scalable 방식이 훨씬 적은 오차로 feature를 복원함

---

해석

• Individual은 태스크별로 독립적으로 압축해서 각 태스크 정확도는 약간 높다,
  그러나 중복 정보가 많아 비효율적이고 재구성 품질이 나쁘다.
• Scalable은 계층적 latent를 공유하여 중복을 줄이고 압축 효율과 재구성 품질을 크게 개선하면서
  정확도 손실은 매우 작은 수준에 그친다.

---

추가 실험

- z1 / z1+z2 / z1+z2+z3 조합이 Task A/B/C 성능에 어떤 차이를 만드는지 확인한다

• z1 → coarse semantic
• z1+z2 → richer semantic
• z1+z2+z3 → full semantic

- feature 추출 + 한번 encoder 실행으로 z1, z2, z3 획득

- 각 조합에서 A/B/C가 몇 개 맞췄는지 누적

- z1 / z1+z2 / z1+z2+z3 정확도 비교 표 형태로 리턴

 

coarse → mid → fine, semantic depth가 깊어질수록 더 어려운 task에 대한 정확도가 높아지는 것을 확인할 수 있다. 

이 결과를 시각화하면 아래 그래프와 같다.