special_tokens_map.json
2.0 KB · 134 lines · json Raw
1 {
2 "additional_special_tokens": [
3 "<|startoftranscript|>",
4 "<|en|>",
5 "<|zh|>",
6 "<|de|>",
7 "<|es|>",
8 "<|ru|>",
9 "<|ko|>",
10 "<|fr|>",
11 "<|ja|>",
12 "<|pt|>",
13 "<|tr|>",
14 "<|pl|>",
15 "<|ca|>",
16 "<|nl|>",
17 "<|ar|>",
18 "<|sv|>",
19 "<|it|>",
20 "<|id|>",
21 "<|hi|>",
22 "<|fi|>",
23 "<|vi|>",
24 "<|he|>",
25 "<|uk|>",
26 "<|el|>",
27 "<|ms|>",
28 "<|cs|>",
29 "<|ro|>",
30 "<|da|>",
31 "<|hu|>",
32 "<|ta|>",
33 "<|no|>",
34 "<|th|>",
35 "<|ur|>",
36 "<|hr|>",
37 "<|bg|>",
38 "<|lt|>",
39 "<|la|>",
40 "<|mi|>",
41 "<|ml|>",
42 "<|cy|>",
43 "<|sk|>",
44 "<|te|>",
45 "<|fa|>",
46 "<|lv|>",
47 "<|bn|>",
48 "<|sr|>",
49 "<|az|>",
50 "<|sl|>",
51 "<|kn|>",
52 "<|et|>",
53 "<|mk|>",
54 "<|br|>",
55 "<|eu|>",
56 "<|is|>",
57 "<|hy|>",
58 "<|ne|>",
59 "<|mn|>",
60 "<|bs|>",
61 "<|kk|>",
62 "<|sq|>",
63 "<|sw|>",
64 "<|gl|>",
65 "<|mr|>",
66 "<|pa|>",
67 "<|si|>",
68 "<|km|>",
69 "<|sn|>",
70 "<|yo|>",
71 "<|so|>",
72 "<|af|>",
73 "<|oc|>",
74 "<|ka|>",
75 "<|be|>",
76 "<|tg|>",
77 "<|sd|>",
78 "<|gu|>",
79 "<|am|>",
80 "<|yi|>",
81 "<|lo|>",
82 "<|uz|>",
83 "<|fo|>",
84 "<|ht|>",
85 "<|ps|>",
86 "<|tk|>",
87 "<|nn|>",
88 "<|mt|>",
89 "<|sa|>",
90 "<|lb|>",
91 "<|my|>",
92 "<|bo|>",
93 "<|tl|>",
94 "<|mg|>",
95 "<|as|>",
96 "<|tt|>",
97 "<|haw|>",
98 "<|ln|>",
99 "<|ha|>",
100 "<|ba|>",
101 "<|jw|>",
102 "<|su|>",
103 "<|yue|>",
104 "<|translate|>",
105 "<|transcribe|>",
106 "<|startoflm|>",
107 "<|startofprev|>",
108 "<|nospeech|>",
109 "<|notimestamps|>"
110 ],
111 "bos_token": {
112 "content": "<|endoftext|>",
113 "lstrip": false,
114 "normalized": false,
115 "rstrip": false,
116 "single_word": false
117 },
118 "eos_token": {
119 "content": "<|endoftext|>",
120 "lstrip": false,
121 "normalized": false,
122 "rstrip": false,
123 "single_word": false
124 },
125 "pad_token": "<|endoftext|>",
126 "unk_token": {
127 "content": "<|endoftext|>",
128 "lstrip": false,
129 "normalized": false,
130 "rstrip": false,
131 "single_word": false
132 }
133 }
134