riktoken 0.0.1

A pure Ruby implementation of OpenAI's tiktoken library for BPE tokenization

Gemfile:
=

インストール:
=

バージョン履歴:

0.0.1 June 04, 2025 (14.5KB)

Runtime依存関係 (1):

base64 >= 0

全ての推移的な依存関係を表示

所有者:

プッシュ者:

作者:

moznion

SHA 256チェックサム:

=

累計ダウンロード数 3,705

このバージョンのみ 3,705

このバージョンがリリースされたのは:
June 4, 2025 5:19am

ライセンス:
MIT

必要なRubyのバージョン: >= 3.1.0

リンク:

ホームページ変更履歴ダウンロード差分をレビューバッジ RSS 悪用報告被依存関係