sou7 on Nostr: ...

キャッシュが効かないときのデカprefillはだいたい2000t/sくらいは出ますね〜。コンテキスト上限は256k(262k)に設定してるので、キャッシュが効かないと、最大1分半くらい待たされたりします。エージェントだと1つのセッションで作業する分には良いですが、複数セッションとかで2並列にアクセスが飛んでくると厳しいですね。