RubyGems Navigation menu

ru_token 0.1.16

RuToken is a Ruby gem that wraps the tiktoken Rust library, enabling fast and efficient tokenization for OpenAI models. It supports multiple models including o200k_base, cl100k_base, p50k_base, and r50k_base.

Gemfile:
=

instalar:
=

Versiones:

  1. 0.1.23 August 03, 2025 (13,5 KB)
  2. 0.1.22 August 03, 2025 (13,5 KB)
  3. 0.1.21 August 01, 2025 (13,5 KB)
  4. 0.1.20 August 01, 2025 x86_64-linux (24,6 MB)
  5. 0.1.20 August 01, 2025 arm64-darwin (23,9 MB)
  6. 0.1.16 July 31, 2025 (13 KB)
Mostrar todas las versiones (100 total)

dependencias de Development (3):

bundler >= 2.0
rake ~> 13.0
rake-compiler >= 0
Mostrar toda la cadena de dependencias

Propietarios:

Subida por:

Autores:

  • Logan Bresnahan

SHA 256 checksum:

=
← Versión anterior Siguiente versión →

Total de descargas 13.736

Para esta versión 186

Versión publicada:

Licencia:

GPL-3.0-or-later

Versión de Ruby requerida: >= 2.7.0

Versión de Rubygems requerida: >= 3.0.0

Enlace:

Página Registro de cambios Descarga Revisar cambios Badge Suscribirse RSS Reportar abusos Dependencias inversas