Meta는 Muse Spark Open이라는 혼합전문가(MoE) 아키텍처 기반 대형 모델을 공개했으며, 이 모델은 총 8160억 파라미터 규모로 설계되었어요.
Muse Spark Open은 각 토큰별로 256개의 전문가 네트워크 중 8개만 활성화하는 방식으로 작동해, 단일 토큰 처리 시 실제로는 약 420억 파라미터 규모의 연산을 수행해요.
이 모델은 텍스트뿐만 아니라 이미지, 오디오, 비디오도 입력으로 받아 동일한 신경망이 스크린샷을 읽거나 음성 메모를 청취하고 녹화 영상을 보면서 복잡한 코딩 작업을 수행할 수 있어요.
Muse Spark Open은 에이전트 코딩에 최적화되어, 개발자의 실제 업무 환경과 유사한 다중 파일 리팩터링, 긴 디버깅 세션 등 복잡한 멀티파일 작업을 계획, 실행, 관찰, 자기 수정하는 과정을 수행할 수 있도록 훈련되었어요.
참고 자료
이미지: AI 생성 일러스트.
답글 남기기