RubyGems Navigation menu

ru_token 0.1.19

RuToken is a Ruby gem that wraps the tiktoken Rust library, enabling fast and efficient tokenization for OpenAI models. It supports multiple models including o200k_base, cl100k_base, p50k_base, and r50k_base.

Gemfile:
=

安装:
=

版本列表:

  1. 0.1.23 August 03, 2025 (13.5 KB)
  2. 0.1.22 August 03, 2025 (13.5 KB)
  3. 0.1.21 August 01, 2025 (13.5 KB)
  4. 0.1.20 August 01, 2025 x86_64-linux (24.6 MB)
  5. 0.1.20 August 01, 2025 arm64-darwin (23.9 MB)
  6. 0.1.19 July 31, 2025 (13.5 KB)
显示所有版本 (共 100 个)

Development 依赖 (3):

bundler >= 2.0
rake ~> 13.0
rake-compiler >= 0
显示所有传递性依赖

所有者:

推送者:

作者:

  • Logan Bresnahan

SHA 256 校验和:

=
← 以前的版本 接下来的版本 →

下载总量 13,736

这个版本 190

版本发布:

许可:

MIT

需要的 Ruby 版本: >= 2.7.0

需要的 RubyGems 版本: >= 3.0.0

链接:

主页 变更记录 下载 审查变更 徽章 订阅 RSS 举报投诉 反向依赖