Janas-LLM, SSD 스트리밍으로 램 용량 초과 대형 LLM 효율적 실행과 고속 처리 달성
안녕하세요! 램 용량을 넘는 대형 언어 모델을 가진 노트북에서 효율적이고 빠르게 텍스트를 처리하는 방법, 궁금하지 않으세요? Janas-LLM은 48GB 크기의 Qwen3-Next-80B 모델을 32GB 메모리만 가진 노트북에서 구동하면서도 약 37토큰/초 속도를 낼 수 있다는…
IDEAS, CULTURE & PLAY
내일의 이야기를,
오늘 더 가까이.
새로운 AI 도구부터 기다리던 음악과 게임까지.
궁금한 변화를 찾아, 우리 말로 쉽게 풀어봐요.
CHOOSE YOUR FREQUENCY
지금 읽어볼 이야기
THE LATEST / JOURNAL
-
-
QGIS: AI를 이용한 코드 기여 전면 금지하는 QEP428 정책 도입
안녕하세요! 오픈소스 프로젝트에서 AI가 작성한 코드를 막는 일이 가능할까요? QGIS가 최근 AI와 LLM을 통한 코드 기여를 전면 금지하는 정책을 도입했는데요, 어떻게 적용하는지 함께 이야기해볼게요. QGIS 프로젝트는 QEP428 정책을 통해 AI, LLM, 에이전트가…
-
Tutor: 개인 책과 문서로 개념을 체계적으로 가르치고 테스트하는 LLM 기반 셀프호스팅 튜터
안녕하세요! 요즘 AI로 책이나 온라인 문서 속 개념을 뽑아서 나만의 튜터를 만들 수 있다면 어떨까요? Tutor는 사용자가 가진 책이나 온라인 문서에서 개념을 뽑아내서 학습할 수 있는 개인용 튜터 소프트웨어예요(F1). 추출한 개념을 한…
-
Talorys: Cloudflare 내 개인 AI 비서로 작업과 기억을 자체 관리하는 오픈소스 프로젝트
안녕하세요! 클라우드 계정 안에서 내 개인 AI 비서를 직접 돌린다면 어떻게 될까요? Talorys라는 프로젝트가 바로 그런 아이디어를 현실로 만들어줬어요. Talorys는 자신의 Cloudflare 계정 내에서 완전히 실행되는 무료 오픈소스 개인 AI 비서입니다(F1). 별도의…
-
LLM으로 Rust에서 완벽 호환되는 TypeScript 컴파일러 ts-rust 개발
안녕하세요! LLM을 활용해서 마이크로소프트 TypeScript 컴파일러를 Rust로 완전히 옮겨냈다는데, 그 과정과 결과가 궁금하지 않으신가요? 최근 한 프로젝트에서 대형 언어 모델(LLM)을 이용해 Microsoft의 TypeScript 컴파일러와 관련 도구들을 Rust 언어로 포팅하려는 시도가 있었습니다. 이…
-
openTPU: FPGA 기반 오픈소스 AI 가속기에서 정확한 시뮬레이션과 실기 실행 동시 지원 달성
안녕하세요! FPGA로 설계된 AI 가속기가 시뮬레이터와 똑같은 결과를 실제 카드에서 내는 모습을 본 적 있으신가요? openTPU는 시스템베릴로그 기반의 하드웨어 설계부터 명령어 집합, 정밀한 비트 단위 일치하는 시뮬레이터, 커널 언어 및 컴파일러, 그리고…
-
고장 난 코드를 AI가 고친다면? Recast의 실행 중 복구 실험
안녕하세요! 프로그램이 실행 중에 고장 났는데, AI가 코드를 고치고 다음 호출에 반영한다면 어떨까요? 이번엔 이런 실험을 담은 Smalltalk 프로젝트 Recast를 찾아봤어요. 어떤 방식인지 같이 볼까요? 핵심은 AI에게 오류 메시지만 던지는 게 아니라는…