Proprietary Know-how

주제: 추론효율화/Self-Consistency

주개발자: 염시형, 박건
개요
본 기술은 대규모 언어모델의 Self-Consistency 추론 과정에서 발생하는 과도한 토큰 비용을 줄이기 위한 추론 최적화 기술이다. 기존 Self-Consistency 방식은 문제 난이도와 관계없이 동일한 수의 reasoning chain을 생성하기 때문에, 쉬운 문제에서도 불필요한 연산 자원이 소모될 수 있다. 본 연구는 입력 문제의 output entropy를 기반으로 난이도를 연속적으로 추정하고, 이에 따라 필요한 reasoning chain 수를 유연하게 조절함으로써 정확도와 추론 효율성을 함께 향상시키는 Flexible Self-Consistency 기술을 연구하고 있다. 실험 결과, FSC는 기존 Self-Consistency 대비 정확도를 유지하면서도 최대 76%의 토큰 절감 효과를 보여, 효율적인 test-time reasoning 최적화 가능성을 확인하였다.

주개발자: 윤태웅
개요
본 기술은 대규모 언어모델의 Self-Consistency 추론 과정에서 발생하는 과도한 토큰 비용을 줄이기 위한 추론 최적화 기술이다. 기존 Self-Consistency 방식은 문제 난이도와 관계없이 동일한 수의 reasoning chain을 생성하기 때문에, 쉬운 문제에서도 불필요한 연산 자원이 소모된다. 이를 해결하기 위해, 입력된 질의에 대해 모델 내부 신호를 이용하여 각 질의의 절대적 난이도를 추정하고, 추가적인 토큰 생성 없이 난이도에 따라 reasoning chain 수를 동적으로 조절하는 Activation-Informed Difficulty-Aware Self-Consistency(ACTSC)를 연구한다. 실험 결과, ACTSC는 기존 Self-Consistency 대비 정확도를 유지하면서도 reasoning chain 수를 최대 84.0%, 기존 난이도 적응형 방법론 대비 총 토큰 비용을 최대 64% 절감하였다.

핵심 기술

• Self-Consistency 기반 LLM 추론 비용 분석
  
• Output entropy 기반 문제 난이도 추정
  
• 난이도 적응형 reasoning chain 수 조절
  
• Token efficiency 중심의 추론 최적화

연구 실적
학회: KCC2026/Top-Conf. 심사중
특허: 심의중

• 뉴런 기반의 난이도 추정을 통한 자기 일관성 효율성 향상(KCC 2026)