A tokenlist object is a thin wrapper around a list of character vectors, with a few attributes.

tokenlist(tokens = list(), lemma = NULL, pos = NULL)

Arguments

tokens

List of character vectors

lemma

List of character vectors, must be same size and shape as x.

pos

List of character vectors, must be same size and shape as x.

Value

a tokenlist object.

Examples

abc <- list(letters, LETTERS) tokenlist(abc)
#> <textrecipes_tokenlist[2]> #> [1] [26 tokens] [26 tokens] #> # Unique Tokens: 52
#> $tokens #> $tokens[[1]] #> [1] "a" "b" "c" "d" "e" "f" "g" "h" "i" "j" "k" "l" "m" "n" "o" "p" "q" "r" "s" #> [20] "t" "u" "v" "w" "x" "y" "z" #> #> $tokens[[2]] #> [1] "A" "B" "C" "D" "E" "F" "G" "H" "I" "J" "K" "L" "M" "N" "O" "P" "Q" "R" "S" #> [20] "T" "U" "V" "W" "X" "Y" "Z" #> #> #> attr(,"unique_tokens") #> [1] "a" "b" "c" "d" "e" "f" "g" "h" "i" "j" "k" "l" "m" "n" "o" "p" "q" "r" "s" #> [20] "t" "u" "v" "w" "x" "y" "z" "A" "B" "C" "D" "E" "F" "G" "H" "I" "J" "K" "L" #> [39] "M" "N" "O" "P" "Q" "R" "S" "T" "U" "V" "W" "X" "Y" "Z"
tibble(text = tokenlist(abc))
#> # A tibble: 2 x 1 #> text #> <tknlist> #> 1 [26 tokens] #> 2 [26 tokens]
library(tokenizers) library(modeldata) data(okc_text) tokens <- tokenize_words(okc_text$essay0) tokenlist(tokens)
#> <textrecipes_tokenlist[750]> #> [1] [184 tokens] [24 tokens] [375 tokens] [77 tokens] [77 tokens] #> [6] [275 tokens] [327 tokens] [155 tokens] [4 tokens] [592 tokens] #> [11] [494 tokens] [563 tokens] [105 tokens] [44 tokens] [11 tokens] #> [16] [429 tokens] [156 tokens] [67 tokens] [87 tokens] [112 tokens] #> [21] [43 tokens] [115 tokens] [13 tokens] [107 tokens] [15 tokens] #> [26] [73 tokens] [83 tokens] [83 tokens] [247 tokens] [299 tokens] #> [31] [57 tokens] [243 tokens] [179 tokens] [49 tokens] [55 tokens] #> [36] [106 tokens] [118 tokens] [357 tokens] [41 tokens] [132 tokens] #> [41] [169 tokens] [168 tokens] [47 tokens] [94 tokens] [90 tokens] #> [46] [98 tokens] [364 tokens] [198 tokens] [497 tokens] [67 tokens] #> [51] [26 tokens] [78 tokens] [11 tokens] [66 tokens] [32 tokens] #> [56] [131 tokens] [31 tokens] [115 tokens] [52 tokens] [158 tokens] #> [61] [41 tokens] [119 tokens] [28 tokens] [82 tokens] [86 tokens] #> [66] [81 tokens] [9 tokens] [260 tokens] [28 tokens] [54 tokens] #> [71] [92 tokens] [190 tokens] [224 tokens] [85 tokens] [206 tokens] #> [76] [81 tokens] [204 tokens] [148 tokens] [14 tokens] [71 tokens] #> [81] [208 tokens] [145 tokens] [40 tokens] [38 tokens] [68 tokens] #> [86] [144 tokens] [63 tokens] [19 tokens] [155 tokens] [124 tokens] #> [91] [45 tokens] [15 tokens] [49 tokens] [216 tokens] [95 tokens] #> [96] [30 tokens] [237 tokens] [193 tokens] [72 tokens] [118 tokens] #> [101] [189 tokens] [26 tokens] [102 tokens] [44 tokens] [92 tokens] #> [106] [228 tokens] [113 tokens] [116 tokens] [165 tokens] [27 tokens] #> [111] [71 tokens] [70 tokens] [177 tokens] [273 tokens] [66 tokens] #> [116] [176 tokens] [145 tokens] [21 tokens] [91 tokens] [46 tokens] #> [121] [126 tokens] [157 tokens] [120 tokens] [96 tokens] [119 tokens] #> [126] [34 tokens] [76 tokens] [3 tokens] [67 tokens] [162 tokens] #> [131] [155 tokens] [99 tokens] [49 tokens] [139 tokens] [78 tokens] #> [136] [190 tokens] [57 tokens] [238 tokens] [48 tokens] [73 tokens] #> [141] [121 tokens] [108 tokens] [88 tokens] [154 tokens] [120 tokens] #> [146] [87 tokens] [60 tokens] [452 tokens] [44 tokens] [107 tokens] #> [151] [74 tokens] [206 tokens] [13 tokens] [242 tokens] [164 tokens] #> [156] [29 tokens] [81 tokens] [71 tokens] [43 tokens] [245 tokens] #> [161] [736 tokens] [55 tokens] [132 tokens] [101 tokens] [65 tokens] #> [166] [65 tokens] [6 tokens] [138 tokens] [184 tokens] [84 tokens] #> [171] [17 tokens] [33 tokens] [288 tokens] [625 tokens] [13 tokens] #> [176] [37 tokens] [226 tokens] [142 tokens] [67 tokens] [148 tokens] #> [181] [158 tokens] [85 tokens] [157 tokens] [338 tokens] [179 tokens] #> [186] [283 tokens] [230 tokens] [260 tokens] [135 tokens] [470 tokens] #> [191] [97 tokens] [145 tokens] [368 tokens] [112 tokens] [95 tokens] #> [196] [189 tokens] [211 tokens] [150 tokens] [85 tokens] [145 tokens] #> [201] [54 tokens] [71 tokens] [214 tokens] [151 tokens] [131 tokens] #> [206] [203 tokens] [170 tokens] [5 tokens] [433 tokens] [37 tokens] #> [211] [16 tokens] [89 tokens] [158 tokens] [134 tokens] [213 tokens] #> [216] [228 tokens] [46 tokens] [49 tokens] [46 tokens] [87 tokens] #> [221] [150 tokens] [268 tokens] [66 tokens] [243 tokens] [44 tokens] #> [226] [136 tokens] [7 tokens] [77 tokens] [107 tokens] [112 tokens] #> [231] [114 tokens] [197 tokens] [4 tokens] [21 tokens] [197 tokens] #> [236] [43 tokens] [28 tokens] [286 tokens] [10 tokens] [175 tokens] #> [241] [42 tokens] [34 tokens] [163 tokens] [98 tokens] [14 tokens] #> [246] [15 tokens] [34 tokens] [135 tokens] [72 tokens] [653 tokens] #> [251] [24 tokens] [304 tokens] [65 tokens] [33 tokens] [7 tokens] #> [256] [158 tokens] [280 tokens] [154 tokens] [67 tokens] [135 tokens] #> [261] [160 tokens] [119 tokens] [3 tokens] [49 tokens] [298 tokens] #> [266] [155 tokens] [96 tokens] [43 tokens] [35 tokens] [56 tokens] #> [271] [15 tokens] [50 tokens] [8 tokens] [43 tokens] [108 tokens] #> [276] [52 tokens] [107 tokens] [39 tokens] [26 tokens] [6 tokens] #> [281] [50 tokens] [86 tokens] [45 tokens] [162 tokens] [281 tokens] #> [286] [345 tokens] [167 tokens] [69 tokens] [100 tokens] [100 tokens] #> [291] [82 tokens] [3 tokens] [28 tokens] [11 tokens] [265 tokens] #> [296] [27 tokens] [116 tokens] [47 tokens] [222 tokens] [149 tokens] #> [301] [48 tokens] [391 tokens] [67 tokens] [62 tokens] [117 tokens] #> [306] [108 tokens] [209 tokens] [161 tokens] [55 tokens] [41 tokens] #> [311] [163 tokens] [96 tokens] [40 tokens] [65 tokens] [51 tokens] #> [316] [161 tokens] [137 tokens] [83 tokens] [11 tokens] [37 tokens] #> [321] [58 tokens] [579 tokens] [303 tokens] [28 tokens] [105 tokens] #> [326] [39 tokens] [129 tokens] [164 tokens] [435 tokens] [142 tokens] #> [331] [24 tokens] [138 tokens] [10 tokens] [61 tokens] [109 tokens] #> [336] [56 tokens] [139 tokens] [54 tokens] [35 tokens] [28 tokens] #> [341] [471 tokens] [88 tokens] [9 tokens] [272 tokens] [69 tokens] #> [346] [254 tokens] [362 tokens] [232 tokens] [189 tokens] [5 tokens] #> [351] [20 tokens] [61 tokens] [189 tokens] [190 tokens] [436 tokens] #> [356] [122 tokens] [175 tokens] [130 tokens] [49 tokens] [133 tokens] #> [361] [29 tokens] [214 tokens] [102 tokens] [178 tokens] [19 tokens] #> [366] [17 tokens] [73 tokens] [362 tokens] [100 tokens] [260 tokens] #> [371] [75 tokens] [645 tokens] [378 tokens] [53 tokens] [347 tokens] #> [376] [95 tokens] [561 tokens] [23 tokens] [82 tokens] [81 tokens] #> [381] [312 tokens] [232 tokens] [72 tokens] [330 tokens] [110 tokens] #> [386] [459 tokens] [10 tokens] [89 tokens] [26 tokens] [148 tokens] #> [391] [79 tokens] [30 tokens] [216 tokens] [110 tokens] [119 tokens] #> [396] [284 tokens] [44 tokens] [83 tokens] [296 tokens] [30 tokens] #> [401] [37 tokens] [731 tokens] [81 tokens] [158 tokens] [180 tokens] #> [406] [41 tokens] [73 tokens] [190 tokens] [160 tokens] [123 tokens] #> [411] [258 tokens] [48 tokens] [99 tokens] [5 tokens] [62 tokens] #> [416] [222 tokens] [8 tokens] [185 tokens] [125 tokens] [49 tokens] #> [421] [110 tokens] [215 tokens] [167 tokens] [226 tokens] [88 tokens] #> [426] [60 tokens] [50 tokens] [40 tokens] [79 tokens] [53 tokens] #> [431] [214 tokens] [279 tokens] [190 tokens] [183 tokens] [47 tokens] #> [436] [34 tokens] [114 tokens] [37 tokens] [217 tokens] [24 tokens] #> [441] [566 tokens] [127 tokens] [359 tokens] [24 tokens] [128 tokens] #> [446] [64 tokens] [56 tokens] [192 tokens] [101 tokens] [124 tokens] #> [451] [300 tokens] [6 tokens] [135 tokens] [150 tokens] [255 tokens] #> [456] [133 tokens] [3 tokens] [12 tokens] [213 tokens] [31 tokens] #> [461] [121 tokens] [96 tokens] [94 tokens] [241 tokens] [313 tokens] #> [466] [72 tokens] [210 tokens] [74 tokens] [137 tokens] [64 tokens] #> [471] [69 tokens] [263 tokens] [70 tokens] [172 tokens] [118 tokens] #> [476] [114 tokens] [165 tokens] [32 tokens] [97 tokens] [50 tokens] #> [481] [54 tokens] [36 tokens] [103 tokens] [64 tokens] [4 tokens] #> [486] [68 tokens] [96 tokens] [416 tokens] [26 tokens] [72 tokens] #> [491] [66 tokens] [110 tokens] [120 tokens] [95 tokens] [191 tokens] #> [496] [463 tokens] [172 tokens] [13 tokens] [215 tokens] [82 tokens] #> [501] [206 tokens] [130 tokens] [32 tokens] [84 tokens] [114 tokens] #> [506] [117 tokens] [238 tokens] [60 tokens] [17 tokens] [52 tokens] #> [511] [30 tokens] [36 tokens] [107 tokens] [228 tokens] [259 tokens] #> [516] [221 tokens] [9 tokens] [46 tokens] [24 tokens] [60 tokens] #> [521] [14 tokens] [99 tokens] [61 tokens] [60 tokens] [80 tokens] #> [526] [85 tokens] [23 tokens] [660 tokens] [70 tokens] [38 tokens] #> [531] [50 tokens] [22 tokens] [61 tokens] [119 tokens] [146 tokens] #> [536] [100 tokens] [85 tokens] [50 tokens] [218 tokens] [152 tokens] #> [541] [183 tokens] [137 tokens] [62 tokens] [121 tokens] [236 tokens] #> [546] [35 tokens] [334 tokens] [155 tokens] [199 tokens] [55 tokens] #> [551] [78 tokens] [213 tokens] [279 tokens] [124 tokens] [353 tokens] #> [556] [79 tokens] [154 tokens] [499 tokens] [121 tokens] [56 tokens] #> [561] [32 tokens] [136 tokens] [428 tokens] [95 tokens] [161 tokens] #> [566] [125 tokens] [637 tokens] [129 tokens] [198 tokens] [74 tokens] #> [571] [88 tokens] [264 tokens] [152 tokens] [264 tokens] [84 tokens] #> [576] [258 tokens] [307 tokens] [61 tokens] [168 tokens] [212 tokens] #> [581] [203 tokens] [220 tokens] [120 tokens] [314 tokens] [44 tokens] #> [586] [90 tokens] [26 tokens] [152 tokens] [82 tokens] [72 tokens] #> [591] [275 tokens] [99 tokens] [47 tokens] [69 tokens] [41 tokens] #> [596] [105 tokens] [159 tokens] [9 tokens] [75 tokens] [27 tokens] #> [601] [123 tokens] [25 tokens] [553 tokens] [231 tokens] [47 tokens] #> [606] [102 tokens] [257 tokens] [180 tokens] [249 tokens] [21 tokens] #> [611] [47 tokens] [316 tokens] [484 tokens] [9 tokens] [40 tokens] #> [616] [46 tokens] [135 tokens] [164 tokens] [100 tokens] [66 tokens] #> [621] [190 tokens] [45 tokens] [202 tokens] [120 tokens] [88 tokens] #> [626] [319 tokens] [313 tokens] [164 tokens] [131 tokens] [120 tokens] #> [631] [103 tokens] [101 tokens] [103 tokens] [89 tokens] [135 tokens] #> [636] [318 tokens] [65 tokens] [8 tokens] [136 tokens] [231 tokens] #> [641] [527 tokens] [12 tokens] [46 tokens] [60 tokens] [241 tokens] #> [646] [216 tokens] [223 tokens] [517 tokens] [182 tokens] [110 tokens] #> [651] [7 tokens] [5 tokens] [37 tokens] [89 tokens] [142 tokens] #> [656] [496 tokens] [97 tokens] [158 tokens] [104 tokens] [76 tokens] #> [661] [72 tokens] [140 tokens] [130 tokens] [82 tokens] [72 tokens] #> [666] [6 tokens] [47 tokens] [28 tokens] [25 tokens] [45 tokens] #> [671] [203 tokens] [30 tokens] [92 tokens] [33 tokens] [56 tokens] #> [676] [278 tokens] [58 tokens] [69 tokens] [11 tokens] [23 tokens] #> [681] [7 tokens] [539 tokens] [227 tokens] [103 tokens] [37 tokens] #> [686] [170 tokens] [76 tokens] [197 tokens] [12 tokens] [130 tokens] #> [691] [51 tokens] [146 tokens] [59 tokens] [41 tokens] [105 tokens] #> [696] [123 tokens] [28 tokens] [68 tokens] [10 tokens] [403 tokens] #> [701] [237 tokens] [399 tokens] [12 tokens] [45 tokens] [79 tokens] #> [706] [331 tokens] [166 tokens] [78 tokens] [376 tokens] [90 tokens] #> [711] [345 tokens] [219 tokens] [190 tokens] [165 tokens] [47 tokens] #> [716] [96 tokens] [83 tokens] [111 tokens] [2 tokens] [23 tokens] #> [721] [6 tokens] [125 tokens] [69 tokens] [141 tokens] [164 tokens] #> [726] [138 tokens] [165 tokens] [256 tokens] [290 tokens] [217 tokens] #> [731] [57 tokens] [240 tokens] [40 tokens] [187 tokens] [75 tokens] #> [736] [371 tokens] [20 tokens] [165 tokens] [112 tokens] [44 tokens] #> [741] [108 tokens] [120 tokens] [17 tokens] [70 tokens] [15 tokens] #> [746] [101 tokens] [57 tokens] [243 tokens] [91 tokens] [47 tokens] #> # Unique Tokens: 9256