文件名称：tokenizr：JavaScript的字符串标记化库
文件大小：23KB
文件格式：ZIP
更新时间：2024-02-24 22:31:45
parsing string token ParsingJavaScript
代币化 JavaScript的灵活字符串标记化库 关于 Tokenizr是一个小JavaScript库，提供强大而灵活的字符串标记化功能。 它打算在基于递归下降的“语法解析器”中用作基础的“词法扫描器”，但也可以用于其他解析目的。 其独特的功能是： 高效迭代： 它以只读且无复制的方式遍历输入字符串。 堆叠状态： 其标记化基于用于确定可应用规则的堆叠状态。 每个规则只能针对一个或多个特定状态启用。 正则表达式匹配： 它的标记化基于强大的正则表达式来匹配输入字符串。 重复比赛： 规则操作可以更改状态，然后在当前输入位置从头开始强制重复匹配过程。 比赛拒绝： 规则动作可以拒绝它们在当前输入
【文件预览】：
tokenizr-master
----eslint.yaml(3KB)
----.gitignore(17B)
----README.md(19KB)
----tst()
--------tokenizr.js(4KB)
--------common.js(2KB)
----smp()
--------sample.js(768B)
--------sample.cfg(120B)
----Gruntfile.js(3KB)
----package.json(2KB)
----tslint.json(465B)
----src()
--------tokenizr.js(25KB)
--------tokenizr.d.ts(4KB)
----.npmignore(13B)
----Makefile(1KB)