純Cで744B MoEをローカル実行、DB/SSH統合ワークスペースも
初登場
今日はじめてトレンド入りしたリポジトリ。
▲ +98★ 27,465C
JustVugg/colibri手元にあるハードウェアでフロンティア級のMoEモデルを動かす。純C、依存ゼロ、エキスパートはディスクからストリーミング。小さなエンジン、巨大なモデル。🐦
「VRAMに載らないから無理」という前提を、置き方の問題に置き換えたのが面白いところ。VRAM/RAM/NVMeを1つの階層として扱い、ルーティング履歴からホットなエキスパートだけを常駐させる発想はJITコンパイラに近い。llama.cppのオフロードで詰まった人が読むと得るものが多いはずです。
DBクライアント、SSHターミナル、SFTP、RDPを別アプリで開いて行き来する運用の面倒さを1画面に畳んでいます。RustとGPUIによるネイティブ実装でWebViewを使わないため、Electron製ツールを常駐させたときのメモリ負荷が気になっていた人には現実的な選択肢になります。
常連
以前にもトレンド入りしたリポジトリ。今日のスター増加数順。
ひとこと
今日の伸びは、エージェントの出力量とコンテキストをどう抑えるかに集中しました。i-have-adhdやcontext-modeが上位に来るのは、生成能力より情報整理が実務のボトルネックになっている証拠でしょう。 一方でcolibriのように、ハードウェア制約そのものを設計で解こうとする低レイヤの動きも並走しています。