LFM2.5-24B-A2B: Liquid AI의 고속 On-Device 에이전트를 위한 24B 파라미터 MoE 모델

안녕하세요! 실행 중인 AI 모델도 더 똑똑하고 빠르게 컨텍스트를 이해해서 작업을 더 잘 처리할 수 있을까요?

Liquid AI가 개발한 LFM2.5-24B-A2B 모델은 40개의 층과 각 MoE(모듈러 전문가) 블록마다 64명의 전문가를 가진 구조입니다. 특별한 라우팅 방식인 top-4 라우팅과 gated short convolution, 그리고 GQA 하이브리드 기법을 유지해 모델의 효율과 성능을 균형 있게 맞췄습니다.

이 모델의 가장 눈에 띄는 점은 컨텍스트 윈도가 이전 모델보다 크게 확장돼서 최대 131K 토큰까지 한 번에 처리할 수 있다는 겁니다. 어휘 수도 65K에서 128K로 두 배 늘어나 비라틴어 토큰 처리 성능도 크게 개선됐습니다. 여러분이라면 이렇게 긴 컨텍스트를 활용하는 AI가 어떤 작업에 도움될지 궁금하시죠?

특히 LFM2.5-24B-A2B는 단순히 답변만 내놓는 게 아니라, 추론 과정에서 명시적인 사고 사슬(chain of thought)을 생성합니다. 즉, 스스로 논리적 단계를 거쳐 답을 내는 추론 전용 모델인데요, 이 점이 실용적인 에이전트 작업 수행에 유리하답니다.

게다가 이 모델은 여러 도구 사용과 에이전트 작업 벤치마크들, 예를 들어 AutomationBench나 ToolSandbox 등에서 경쟁 모델과 견줘 우수하거나 동등한 성능을 보였습니다. AutomationBench에서는 특히 다음에 잘하는 모델 점수의 3배 이상을 기록하기도 했는데요, 작고 빠른 데다 뛰어난 명령어 이해와 툴 활용 성능을 갖춘 덕분입니다.

여러분은 이처럼 고성능 모듈러 전문가 모델이 장치 내에서 바로 실행되면서 더 복잡한 작업까지 소화하는 모습을 어떻게 보시나요? 앞으로 AI 에이전트가 우리 삶에 어떻게 더 가까워질지 생각해 보면 정말 흥미롭지 않나요?

참고 자료

• https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b

사진: Dietmar Rabich · Wikimedia Commons · CC BY-SA 4.0. 주제 참고 사진이며, 글에서 다룬 사건의 현장이나 제품 실행 화면은 아니에요.