文件名称：tokesies:Rust的字符串标记器库
文件大小：22KB
文件格式：ZIP
更新时间：2024-06-07 17:17:01
Rust
用于Rust的字符串标记程序库，其中也可以有条件地选择用于分隔标记的字符本身作为标记。 提供了一些基本用例的过滤器实现： use tokesies :: * ; let line = "hello!world, this is some_text" ; let tokens = FilteredTokenizer :: new (filters :: DefaultFilter{}, line). collect :: < Vec>>(); // tokens: ["hello", "!", "world", ",", "this", "is", "some", "_", "text"] assert_eq! (tokens. get ( 0 ). unwrap (). term (), "hello" ); 您也可以提供一个自定义实现： use tokesies
【文件预览】：
tokesies-master
----.gitignore(31B)
----README.md(1KB)
----Cargo.toml(99B)
----logo.png(12KB)
----LICENSE(1KB)
----src()
--------lib.rs(6KB)
--------filters.rs(4KB)
--------test.rs(6KB)
----benches()
--------basic.rs(6KB)