논문 링크:
Efficient Prompting for LLM-Based Generative Internet of Things
Large language models (LLMs) have demonstrated remarkable capacities on various tasks, and integrating the capacities of LLMs into the Internet of Things (IoT) applications has drawn much research attention recently. Due to security concerns, many institut
ieeexplore.ieee.org
출처: B. Xiao, B. Kantarci, J. Kang, D. Niyato and M. Guizani, "Efficient Prompting for LLM-Based Generative Internet of Things," in IEEE Internet of Things Journal, vol. 12, no. 1, pp. 778-791, 1 Jan.1, 2025.
요약
이 논문은 LLM이 semi structured Table QA 문제처럼 불완전한 표 데이터를 다루는데 어려움이 있다는 점에 주목한다. 논문은 세 단계 프롬프트 체계를 제안한다:
- Task Planning – 질문을 분석하고 필요한 열과 연산을 계획
- Task Conducting – Python 코드를 활용해 실제 계산 수행
- Task Correction – 데이터 타입 불일치나 오류를 교정하여 결과를 정제
기여점
- IoT 환경에서 LLM이 자율적으로 데이터 처리와 문제 해결을 할 수 있도록 지원
- 단순 질의응답을 넘어, 프롬프트 관리 + 코드 실행 + 오류 교정을 결합한 새로운 방식 제시
- Semi-structured Table-QA 문제를 케이스 스터디로 삼아, 실제 적용 가능성을 검증
- 이 접근법은 IoT 시스템에서 LLM을 활용할 때 효율성과 신뢰성을 높여주며, 오픈소스 LLM의 한계를 극복하는 데 중요한 역할을 할 수 있음을 보여준다.
Fig. 1
- IoT 디바이스 → 요청(Task Request): 스마트워치, 센서, 스마트폰 같은 IoT 기기들이 특정 작업 요청
- Task-specific Prompts Database에서 해당 작업에 맞는 프롬프트 템플릿(지시문, 데모)을 검색 및 반환
- Open-source LLMs (예: Mistral, DeepSeek): 선택된 프롬프트에 기반해 LLM이 응답을 생성, 상용 LLM 대신 오픈소스 모델을 로컬 네트워크의 엣지 서버에 배치해 프라이버시 보장
- Post-processing Module (후처리 모듈): LLM 응답을 정제(Result Parsing), 다단계 프롬프트 방식에서는 중간 결과를 관리(Optional Request Management)
- 최종 응답(Task Response): 후처리된 결과가 다시 IoT 디바이스로 전달
Fig. 2: LLM 기반 GIoT 시스템의 주요 구성 요소
1. 프롬프트 관리 모듈 (Prompt Management Module): IoT 기기의 요청을 LLM이 이해할 수 있는 프롬프트로 변환
- 요청 파싱 (Request Parsing): IoT 기기로부터 요청을 받아 Task ID, Task Step, Parsed Data를 추출
- 프롬프트 검색 (Prompt Search): Task ID와 Task Step을 이용해 프롬프트 지시문(Instruction)과 프롬프트 예시(Demonstration)를 데이터베이스에서 검색
- 프롬프트 생성 (Prompt Generation): 파싱 된 데이터 + 지시문 + 예시를 결합해 최종 프롬프트를 생성, In-Context Learning(ICL) 성능을 최적화하기 위해 맞춤형 예시 선택 방법을 적용
2. 후처리 모듈 (Post-processing Module): LLM의 출력 결과를 정제하거나 실행하여 IoT 기기에 반환
- 결과 파싱 (Result Parsing): LLM 출력이 지시문을 항상 따르지 않기 때문에 결과를 정제
- 코드 실행: PoT, PAL 같은 방법은 LLM이 직접 답을 주지 않고 Python 코드를 생성, 외부 Python 인터프리터를 통해 실행하여 최종 결과를 얻는다.
- 선택적 요청 관리 (Optional Request Management): 다단계 프롬프트 방식에서는 요청 관리 컴포넌트가 필
Fig. 3: 제안한 방법과 CoT, PoT의 비교
제안한 방법은 비교적 단순한 CoT, PoT와 다르게 task planning, task conducting, task correction의 총 세 가지 과정을 거친다. 그리고 기존의 큰 테이블을 사용하는 대신 statistical/sub table들을 사용한다.
Ablation study 결과 이 프롬프트들은 상호보완적인 결과를 갖는다.
Fig.11
PoT (Program of Thoughts)는 LLM이 복잡한 추론이나 계산을 할 때, Python 코드 같은 외부 프로그램을 생성해 실행하는 방식이다. 하지만 이 과정에서 프롬프트 토큰 수가 많아지고 추론 시간이 길어지는 단점이 있다.
Tab-PoT (Table Program of Thoughts)는 이 논문에서 제안한 개선된 방법으로, Table-QA 문제에 특화된 프롬프트 설계다. 아래의 Fig.11은 Tab-PoT가 훨씬 적은 토큰을 사용하면서도 정확도를 유지하거나 개선할 수 있음을 보여준다. 이는 곧 추론 비용(inference cost) 절감과 실행 효율성 향상으로 이어진다.
