cpp-将CPython的tokenizer暴露为Python类

【文件属性】：
文件名称：cpp-将CPython的tokenizer暴露为Python类
文件大小：10KB
文件格式：ZIP
更新时间：2022-09-05 00:46:21
C/C 开发-其它杂项 将CPython的tokenizer暴露为Python类

【文件预览】：
ctok-master
----ctok.c(6KB)
----v36tokenizer.h(4KB)
----v35tokenizer.h(4KB)
----setup.cfg(22B)
----demo.py(300B)
----setup.py(290B)
----README.md(441B)
----v38tokenizer.h(4KB)
----test_ctok.py(3KB)
----.gitignore(28B)
----v37tokenizer.h(3KB)