Opt.Gear: 0.5T 토큰으로 학습한 온디바이스 언어 모델
SRAM·대역폭·전력이 제한된 환경을 출발점으로 설계한 온디바이스 텍스트 생성 모델 Opt.Gear(270M/1B)를 오픈소스로 공개합니다.
글 읽기 →빠른 온디바이스 파운데이션 모델을 만드는 팀의 릴리스, 벤치마크와 엔지니어링 이야기입니다.
SRAM·대역폭·전력이 제한된 환경을 출발점으로 설계한 온디바이스 텍스트 생성 모델 Opt.Gear(270M/1B)를 오픈소스로 공개합니다.
글 읽기 →Hessian 기반 scale 초기화와 LSQ를 결합한 Opt.Gear-1B의 Quantization-Aware Training 레시피를 소개합니다.
글 읽기 →약 1M 파라미터의 언어 모델을 STM32 Cortex-M7에 직접 배포해 20 tokens/s의 자기회귀 생성을 달성했습니다.
글 읽기 →Language models, Opt.Gear included, can produce inaccurate content that does not represent OptAI's views. Review anything you intend to rely on, publish, or ship.