tokenize
- 网络符将一个字符串标记化；切分词；令牌化
tokenizetokenize
符将一个字符串标记化
...这种技术,例如strtok(),它基于一组字符分隔符将一个字符串标记化(tokenize)(译注:即将str分解为由字符串delimiterSet中的字符 …
切分词
词干切分,word stem... ... ) word entry segmentation of Chinese 词条切分 ) tokenize 切分词 ) Word segmentation 语词切分 ...
令牌化
DSPAM中文站 ... token ： 令牌 tokenize ： 令牌化 tokenizer ： 令牌解析器 ...
变造
2. 变造 (Tokenize)。在保持资料格式的情况下对资料进行处理，产生另外一组不同的资料；仅适用於数字或英文，亦可反解回 …
1
In the draw method, check to see whether any bytes are available to read; if there are, tokenize them into an array.
通过draw方法，我们可以检查是否有字节可供读取；如果有，我们可以将它们保存到一个数组中。
2
The new tokenize function performs the opposite action, disaggregating a string with a separator to mark the boundaries.
新增的tokenize函数执行相反的操作，用分隔符标记字符串之间的边界。
3
Specify the delimiters that the transformation uses to tokenize column values.
指定转换用来标记列值的分隔符。
4
IndexWriter accepts an analyzer used to tokenize data before it is indexed.
在编制索引前，IndexWriter接收用于标记数据的分析程序。
5
These differ in the way they tokenize the text and apply filters.
它们在标记文本和应用过滤器的方式上有所区别。
6
Tokenize Configuration, which provides a repeatable way of injecting variable information into configuration files
TokenizeConfiguration，这个模式提供一种可重复的把可变信息注入配置文件中的方法