논문 링크:
Large Language Model (LLM) for Telecommunications: A Comprehensive Survey on Principles, Key Techniques, and Opportunities
Large language models (LLMs) have received considerable attention recently due to their outstanding comprehension and reasoning capabilities, leading to great progress in many fields. The advancement of LLM techniques also offers promising opportunities to
ieeexplore.ieee.org
출처: H. Zhou et al., "Large Language Model (LLM) for Telecommunications: A Comprehensive Survey on Principles, Key Techniques, and Opportunities," in IEEE Communications Surveys & Tutorials, vol. 27, no. 3, pp. 1955-2005.
- 논문 구조(상단)
- 문제 유형 분류(중앙)
- LLM 기술 적용(우측)
- 실제 환경 시각화(하단)
LLM Fundamentals
prompt engineering technique: 프롬프트 설계에 따라 LLM의 응답 품질이 달라질 수 있다.
- ICL: 예시를 포함해서 프롬프트 설계
- CoT: 중간 추론 단계를 포함
- Planning: 계획을 세우게 한다
- Self-refine: 스스로 수정하게 만든다
- Central Cloud Deployment → 초대형 모델을 중앙 클라우드에서 처리. 성능은 최고지만 지연과 대역폭 부담이 큼.
- Network Edge Deployment → 엣지 서버에서 중형 모델로 처리. 지연이 크게 줄어들지만 자원이 제한됨.
- On-device Deployment → 스마트폰·IoT 등 단말 내부에서 소형 모델로 처리. 지연 최소지만 모델 크기 제한이 큼.
- Cache-based Deployment → 클라우드·엣지·단말에 모델 파라미터를 나눠 저장(정밀도/양자화 혼합). 자원 효율적이지만 관리 복잡.
- Cooperative Deployment → 로컬 소형 모델과 클라우드 대형 모델이 협력. 정확도와 지연 사이의 균형을 맞추는 방식.
LLM for Generation Problems In Wireless Networks
문제 발생시 기존에는 여러 단계의 처리 절차를 거쳤지만, 언어 모델을 사용하면 관련 요소를 추출하고 인코딩하여 가장 관련성이 높은 문서들을 선택하는 과정을 자동화할 수 있다. 또한 이렇게 사용되는 LLM은 통신 언어 데이터, 문서 랭킹 데이터, 문제 보고 데이터를 통해 문제 해결에 맞게 fine-tune 될 수 있다.
이 구조는 프롬프트 기반 코드 개선 흐름을 보여주는 예시로, LLM이 어떻게 기존 코드를 이해하고 구조화된 방식으로 더 나은 코드로 바꾸는지를 블록과 화살표로 명확하게 표현한 그림이다. LLM을 통해 코드를 더 이해하기 쉽게 수정하고 바뀐 부분들을 다른 색깔로 표시했다.
- (a) Simplistic design: 관리자가 LLM에게 설정 요구를 전달하면 LLM이 설정을 생성하고, 이를 다시 사람이 검토하는 단순한 구조이다.
- (b) Hierarchical design: 각 LLM이 단계별로 다른 수준의 작업을 진행해 오류를 줄인다. 사람이 최종적으로 검토하여 안정성을 확보한다.
- (c) Automated design: 여기선 사람이 검토하기 전에 LLM이 자동 검증 루프를 거치며 오류 가능성이 낮고 반복 작업 자동화가 가능하다.
LLM-Enabled Classification problems
- Dataset preparation: 실제 네트워크 상태의 로그에 기반해 특징을 추출하고 이를 텍스트로 변환한다.
- Dataset tokenization: 앞 단계에서 생성된 텍스트를 기반으로 LLM이 처리할 수 있는 토큰으로 분할한다.
- Model training: BERT 임베딩/인코딩을 통해 문맥을 반영한 특징 벡터를 생성하고, softmax 분류기를 통해 공격 유형을 분류한다.
- Deployment and application: 이렇게 훈련된 LLM 모델은 사고에 관한 프롬프트를 입력받아 대응 및 복구 방안을 얻는다.
이 그림은 LLM을 활용한 구체적인 3GPP 기술 분류 예시이다. 3GPP 관련 문서를 입력 데이터로 받아 각종 전처리 과정을 거치고 통신 도메인에 맞도록 데이터를 분할한다. 또 이렇게 전처리된 데이터 셋을 다시 LLM을 통해 fine tune 하여 3GPP 분류에 특화된 LLM을 생성한다. 이를 통해 학습된 언어모델은 3GPP 작업 그룹을 분류하는 과제를 수행할 수 있게 된다.
아래 그림은 교통 상황에 관한 이미지 데이터 수집/분류/통신 예시를 보여준다. 먼저 감시 카메라, 차량, 도시 블록 등 다양한 센서와 장치를 통해 이미지 데이터를 수집한다. 유선 back haul을 통해 이 데이터는 네트워크 엣지 클라우드로 전송된다. 이 엣지 클라우드에는 이미지 데이터를 처리할 수 있는 컴퓨팅 자원과 LLM 모델이 위치하여 분류, 객체 탐지, 명령 생성등의 처리를 진행한다. 이렇게 처리된 결과는 다시 교통 제어 등에 사용되도록 네트워크 시스템에 전송된다.
- Datagram 2Token: BURST 생성기는 네트워크 트래픽 정보를 입력받아 BURST를 생성하고 이는 16진수 데이터그램 토큰으로 변환된다.
- Pre-training: 이 단계에서는 ET-BERT 모델을 사전학습한다. 각 토큰을 벡터로 변환하고 위치 및 흐름 단위를 구분한다. 이를 통해 ET-BERT 모델을 학습해 동일 출처 BURST를 예측하거나 마스킹된 BERT 모델을 학습한다.
- Fine-tuning: 이 단계에선 실제 트래픽 분류 작업이 이루어지며 어떤 앱에서 발생했는지와 같은 트래픽은 분류한다.
LLM-Enabled Optimization Techniques for Telecom
- Step 1: Language description input, 자연어로 환경·목표·변수·규칙 설명하여 LLM에 입력
- Step 2: Initial design, LLM이 초기 보상 함수 설계하여 보상 함수를 RL 환경에 적용
- Step 3: Reward function implementation, 보상 함수 구현 및 RL 학습, 성능 지표와 결과를 평가 단계로 전달
- Step 4: Evaluation and feedback, bad, 성능 평가 + “good/bad” 판단 + 피드백 프롬프트 생성, 피드백이 LLM에 다시 입력
- Step 5: Final reward function design, LLM이 피드백 기반으로 보상 함수 재설계, 새 보상 함수가 다시 Step 3으로 가서 반복
- 네트워크 환경에서 상태를 관찰하고 에이전트가 행동을 결정하여 환경에 적용한다.
- 행동 결과는 Trajectory에 저장되고 Evaluator가 그 성능을 평가한다.
- 내부/외부 피드백을 통합하여 평가 결과는 Self-reflection으로 전달된다.
- Reflective text를 생성하여 Experience에 저장하고 Actor(LLM)는 이 경험을 바탕으로 다음 행동을 더 똑똑하게 설계한다.
아래 그림은 LLM을 블랙박스 최적화 도구로 활용하여 통신 네트워크 제어를 최적화하는 과정을 보여준다. 먼저 최적화하고자 하는 네트워크 문제를 자연어로 설명해 LLM에 입력한다. LLM은 입력된 설명을 기반으로 제어 솔루션을 생성하고 생성된 솔루션을 수학적 모델과 같은 목적 함수에 적용하여 성능 점수를 계산한다. 최대 반복 횟수에 도달했거나 만족할 만한 점수에 도달하면 최적의 네트워크 결정으로 이를 채택한다. 그렇지 않은 경우 솔루션, 점수 쌍은 저장되어 다음 프롬프트 설계에 활용된다. 이 새 프롬프트는 다시 LLM에 입력되어 더 나은 솔루션을 생성하는 루프가 반복된다.
LLM 기반 최적화 문제는 다음과 같은 과정을 거칠 수 있다. Optimization Problem을 설명해 이를 LLM에 전달한다. 무선 지식과 공식 지식 기반을 가지고 있는 LLM은 앞 단계에서의 문제 설명을 수학적 최적화 문제로 변환한다. 이 수식은 두번째 LLM에 전달되며, LLM은 이 공식과 코드 탬플릿을 기반으로 최적화 python 코드를 생성한다. 생성된 코드는 구현 실험을 거치며 성공한 경우 이 결과는 출력된다. 실패한 경우 코드 수정 탬플릿을 통해 LLM은 코드를 재생성한다.
아래 그림은 자원 블록 할당 통신 과제를 해결하기 위해 LLM이 메타 휴리스틱 알고리즘을 설계하는 5단계 과정을 보여준다. 첫번째 단계에선 문제 특성에 맞는 탐색 능력이 뛰어난 알고리즘 5개를 추천받는다. 두 번째 단계에선 선정된 후보들의 이유를 분석하고 각 알고리즘의 특징과 탐색 능력을 설명받는다. 세 번째 단계에선 이전에 생성한 알고리즘의 구성 요소를 활용하여 새로운 알고리즘을 설계한다. 네 번째 단계에선 새 알고리즘에 대한 설명과 의사코드를 제공받아 실제 구현을 위한 기반을 제공한다. 마지막 단계에선 이 알고리즘이 문제 상황에서 탐색에 왜 좋은지 설명받아 알고리즘의 설계 목적과 효과를 정리한다.
Time Series LLM for Prediction Problems
TimeGPT는 Encoder-Decoder 구조의 시계열 예측 모델로, 통신 네트워크에서 발생하는 다양한 데이터를 입력받아 트래픽 부하, 채널 상태, 사용자 이동성을 예측한다.
- 입력 데이터 (좌측): 네트워크 트래픽 부하, 채널 상태 정보, 사용자 이동성과 같은 예측에 필요한 시계열 특성과 공간적 특성이 제공된다.
- TimeGPT 모델 (중앙): 시계열 패턴과 공간적 상관관계를 학습하여 예측 정확도를 향상시킨다. 여러 인코딩과 임베딩과 신경망을 거쳐 결과를 예측한다.
- 출력 예측 (우측): 학습한 TimeGPT 모델을 기반으로 네트워크 트래픽 부하, 채널 상태, 사용자 이동성을 예측해 실제 네트워크 운영에 활용 가능한 결과를 제공한다.
TimesFM은 디코더 전용 Transformer 아키텍처를 기반으로 설계된 시계열 예측 모델로, 입력 시계열 데이터를 받아 미래 시점의 패치를 생성하는 데 최적화되어 있다. 입력 패치를 받아 동일한 네트워크 구조를 반복 사용하고 token+ PE를 통해 트랜스포머가 시간 순서를 인식할 수 있게 한다. 트랜스포머는 과거 정보만을 기반으로 미래를 예측하는 구조를 학습하며 다시 residual block을 거쳐 이를 출력으로 전달한다.
Fig.19는 TIME‑LLM이 시계열 데이터를 LLM에 맞게 변환하고 처리하는 전체 파이프라인을 보여준다. 시계열 데이터는 LLM이 이해할 수 있도록 패치 단위로 나누고 이를 패치 임베딩으로 변환한다. 이 부분은 학습이 가능한 부분이다. Pre-trained LLM은 학습되지 않고 고정된 부분으로 그대로 사용된다.
이 그림은 LLM4TS라는 프레임워크의 모델 구조를 보여준다. LoRA 모듈을 통해 Q, K, V 벡터를 생성하고 Attention 블록을 거치는 구조이다. 학습이 가능한 블록과 가능하지 않은 블록으로 구성되어 있다. 즉 이는 전체 모델을 학습하지 않고 일부 레이어만 학습하여 시계열 데이터에 맞고 효율적으로 적응하는 구조임을 알 수 있다.
Multi-modality LLM은 다양한 센서 및 데이터 소스를 통합해,네트워크 예측 문제를 해결한다.
- Input: Multi-modality Sensing, dataset, textual input으로 구성되며 위성/카메라 이미지, 3D LiDAR 그래프 및 비디오, 표 형식의 데이터, 텍스트 설명 및 프롬프트가 여기 포함된다.
- Multi-modality LLM: 다양한 입력(이미지, 그래프, 수치, 텍스트)을 통합적으로 이해하고 처리하는 대형 언어 모델이다.
- Output: CSI 예측, 빔포밍 예측, 트래픽/사용자 수 예측, QoE 예측등 다양한 예측 결과를 나타낸다.
