文件名称：obiectumtokenizer:只是一个用纯C语言编写的小型标记化库
文件大小：7KB
文件格式：ZIP
更新时间：2024-06-05 22:38:04
C
ObiectumTokenizer 只是一个用于标记字符串的小型库。 特征 行号和列号。 自定义特殊字符-它们始终被视为单独的标记（如果不在字符串中）。 自定义注释-单行和多行。 字符串-字符串始终是单引号，用引号引起来。 UTF-8是唯一受支持的编码。 例子 obtokenizer_tokenizer_t tokenizer; if (obtokenizer_init(&tokenizer, "abc /* comment №1 */ def,123 // №2") || obtokenizer_add_spec_char(&tokenizer, ',') || // Count commas as separate tokens. obscanner_add_comment_mark(&tokenizer.scanner,
【文件预览】：
obiectumtokenizer-master
----.gitignore(29B)
----Makefile(495B)
----scanner()
--------scanner.h(1KB)
--------char.h(258B)
--------scanner.c(5KB)
--------defs.h(166B)
--------pos.h(138B)
----LICENSE(1KB)
----tokenizer()
--------tokenizer.h(789B)
--------token.h(306B)
--------token.c(123B)
--------tokenizer.c(3KB)
----README.md(1KB)