riktoken 0.0.1
A pure Ruby implementation of OpenAI's tiktoken library for BPE tokenization
Gemfile:
=
installieren:
=
Versionen:
- 0.0.1 June 04, 2025 (14,5 KB)
Runtime Abhängigkeiten (1):
base64
>= 0
Besitzer:
Pushed by:
Autoren:
-
moznion
SHA 256-Prüfsumme:
=