文件名称：PyTokenize:使用LibClang在Python中标记化C ++ C代码
文件大小：4KB
文件格式：ZIP
更新时间：2024-06-17 18:56:15
Python
PyTokenize 使用 LibClang 在 Python 中标记 C++/C 代码。 用法 在当前工作目录中包含 tokenizer.py： from tokenizer import Tokenizer tok = Tokenizer ( "../path/to/code.cpp" ) entire_token_stream = tok . full_tokenize () # Set argument to True if we only want methods attached to classes tokens_per_function = tok . split_functions ( False ) 注意：您可能需要更新 tokenizer.py 中 libclang 库的路径。 显然，您还需要安装 libclang。 测验 在终端中运行我的简短测试代码： p
【文件预览】：
PyTokenize-master
----token_map.csv(1KB)
----tokenizer.py(5KB)
----LICENSE(1KB)
----README.md(867B)