【文件属性】：
文件名称：cang-jie:基于jieba-rs的tantivy中文分词器
文件大小：7KB
文件格式：ZIP
更新时间：2021-05-09 23:20:30
rust tokenizer full-text-search tantivy Rust
仓杰（）
基于 中文标记。
截至目前，仅支持UTF-8。
例子
let mut schema_builder = SchemaBuilder :: default ();
let text_indexing = TextFieldIndexing :: default ()
. set_tokenizer (CANG_JIE) // Set custom tokenizer
. set_index_option (IndexRecordOption :: WithFreqsAndPositions);
let text_options = TextOptions :: default ()
. set_indexing_options (text_indexing)
. set_stored ();
【文件预览】：
cang-jie-master
----.gitignore(78B)
----README.MD(1KB)
----pre-commit(159B)
----src()
--------stream.rs(1KB)
--------tokenizer.rs(1KB)
--------options.rs(425B)
--------lib.rs(200B)
----.travis.yml(775B)
----LICENSE(1KB)
----Cargo.toml(454B)
----tests()
--------unicode_split.rs(3KB)
----rustfmt.toml(113B)