文件名称：matlab特殊符号代码-sctokenizer:源代码标记器
文件大小：21KB
文件格式：ZIP
更新时间：2024-06-27 23:56:38
系统开源
matlab特殊符号代码标记生成器 源代码标记器 支持这些语言： C, C++, Java, Python, PHP 如何安装 pip install sctokenizer 如何使用 使用sctokenizer ： import sctokenizer tokens = sctokenizer . tokenize_file ( filepath = 'tests/data/hello_world.cpp' , lang = 'cpp' ) for token in tokens : print ( token ) 或者创建新的CppTokenizer ： from sctokenizer import CppTokenizer tokenizer = CppTokenizer () # this object can be used for multiple source files with open ( 'tests/data/hello_world.cpp' ) as f : source = f . read () tokens = tokenizer . tokenize
【文件预览】：
sctokenizer-master
----sctokenizer()
--------tokenizer.py(1KB)
--------c_tokenizer.py(421B)
--------token.py(695B)
--------source.py(3KB)
--------main.py(459B)
--------cpp_tokenizer.py(10KB)
--------__init__.py(387B)
--------assets()
--------java_tokenizer.py(8KB)
--------python_tokenizer.py(8KB)
--------php_tokenizer.py(8KB)
----requirements.txt(0B)
----LICENSE(1KB)
----setup.py(697B)
----README.md(2KB)
----tests()
--------main.py(918B)
--------data()
----.gitignore(2KB)