tokenizationType Enumeration |
[Missing <summary> documentation for "T:imbNLP.Data.enums.tokenizationType"]
Namespace: imbNLP.Data.enums
public enum tokenizationType
| Member name | Value | Description | |
|---|---|---|---|
| textTokenization | 0 | Prvobitni algoritam za tokenizaciju tako sto prvo pretvori sve u tekst | |
| htmlTokenization | 1 | Novi algoritam koji obradjuje HTML nodove a ne samo tekst - zadrzava META informacije |