topickapp on Nostr: Using group theory to explore the space of positional encodings for attention ...

https://blog.janestreet.com/using-group-theory-to-explore-positional-encodings-attention/
Using group theory to explore the space of positional encodings for attention

群論で位置エンコーディングを分析、多様な手法の可能性を探求。
RoPEやALiBi等、既存手法は数学的構造から導出可能。
未開拓のエンコーディングは限定的で、既存手法が最適解か。