 | tokenizationType Enumeration |
[Missing <summary> documentation for "T:imbNLP.Data.enums.tokenizationType"]
Namespace: imbNLP.Data.enums
Assembly: imbNLP.Data (in imbNLP.Data.dll) Version: 0.2.30
SyntaxC#
public enum tokenizationType
Members| Member name | Value | Description | |
|---|---|---|---|
| textTokenization | 0 | Prvobitni algoritam za tokenizaciju tako sto prvo pretvori sve u tekst | |
| htmlTokenization | 1 | Novi algoritam koji obradjuje HTML nodove a ne samo tekst - zadrzava META informacije |
See Also