[논문 리뷰] Deep Joint Source-Channel Coding for Wireless Image Transmission

논문 링크: 

Deep Joint Source-channel Coding for Wireless Image Transmission

 

출처: E. Bourtsoulatze, D. B. Kurka and D. Gündüz, "Deep Joint Source-channel Coding for Wireless Image Transmission," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Brighton, UK, 2019, pp. 4774-4778.

---

 

요약   

 

   이 논문은 joint source and channel coding(JSCC)에 대해서 소개한다. 기존의 통신 방식은 이미지를 압축, 채널 부호화, 변조의 여러 과정을 거쳐 채널 입력에 맞는 복소수 신호로 변환한다. 그러나 제안하는 deep JSCC는 소스/채널 코딩을 한번에 묶어 진행하여 이미지의 픽셀 값을 채널 입력 복소수 신호로 변환해준다. 또한 DeepJSCC는 JPEG, LDPC와 같은 정해진 소스/채널 부호화 방법 대신 CNN 신경망이 압축과 오류 정정을 동시에 학습한다(autoencoder). 이를 통해 소스/채널 코딩 과정이 기존의 방법보다 짧기에 학습이 끝난 후 인코딩/디코딩 과정은 기존의 방법보다 매우 빨라진다. JPEG 2000과 같은 전통적 압축은 모든 이미지에 동일한 규칙을 적용하지만 auto encoder는 학습 데이터의 통계적 특징, 채널 잡음과 오류를 학습하여 복원력이 높은 표현을 자동으로 학습한다. 즉 auto encoder 구조는 인코딩/디코딩 과정만 학습할 뿐만 아니라 채널 추정 또학 학습한다는 것을 알 수 있다. 아래에서 (a)는 기존 전송 방법, (b)는 제안한 deep JSCC 알고리즘이다. 한눈에 볼 수 있듯이 과정이 무척 간단해진다!

기존 구성도 / JSCC 구성도

   

   Deep JSCC는 JPEG, JPEG 2000 압축 방법의 성능을 뛰어 넘으며 SNR이 낮고 대역폭이 제한된 상황에서도 채널 용량에 근접하게 이미지를 전송한다. 기존 전송 방식은 시스템이 최적화되지 않은 채널 상태에서 벗어나면 급격한 성능 저하를 겪는다. 또 기존 방법은 소스/채널 코딩 rate가 정해지면 채널 상태가 아무리 좋아져도 복원 성능은 개선되지 않는다. 이렇게 채널 상태가 일정 임계값보다 나빠질 때 품질이 급격히 떨어지는 현상을 "cliff effect"라 한다. DeepJSCC는 이 방법의 한계에서 벗어나 훈련시키지 않은 SNR에 놓여도 성능이 완만하게 감소한다. 아래 그림에서 볼 수 확인할 수 있듯 기존의 JPEG, JPEG2000 방법들은 채널 대역폭이 부족할 때 그 성능이 급격하게 감소하나 DeepJSCC는 SNR 변화에도 성능이 비교적 완만하게 감소하는 것을 확인할 수 있다. 

JPEG / JPEG 2000/ Deep JSCC

 

여기서 n = source bandwidth, k = channel bandwidth, k/n = bandwidth compression ratio를 나타낸다. 즉 k/n이 작다는 것은 채널 대역폭이 부족해 더욱 많은 압축이 필요하다는 뜻이다!

---

한계

• 논문에서도 언급 했듯이 CIFAR-10, ImageNet 등과 같은 대규모 데이터 셋을 학습시키는데 시간과 연산량이 많이 든다. 
• 이 논문에선 복잡한 실제 무선 환경 대신 AWGN, slow Rayleigh fading만 고려하기에 현실 환경에서의 일반화는 제한적이다.
• k/n이 커질수록 성능이 개선되지만 일정 수준 이상에서는 성능이 포화되어 품질이 개선되지 않으며 JPEG, JPEG200보다 품질이 떨어진다. 
• 이 논문에선 이미지 전송을 다뤗지만 영상, 텍스트, 음성 등 multi modal 전송에서의 성능은 보장되지 않는다. 
• PSNR/SSIM과 같은 화질을 비교했지만 얼마나 빠르고 적은 에너지로 보낼 수 있는지에 대해선 비교하지 않았다. 지연과 에너지 효율에 대해서 충분히 제시하지 않았다. 
• 논문은 JPEG/JPEG2000 + capacity-achieving 코드를 비교 기준으로 삼았는데, 이건 현실에서는 불가능한 이상적인 상황이기에 실제 환경과 차이가 있을 수 있다. 또 Deep JSCC는 실제 채널 환경을 기준으로 학습했기에 비교 기준이 서로 다르다.