special_tokens_map.json
13.5 KB · 1054 lines · json Raw
1 {
2 "additional_special_tokens": [
3 "<|im_start|>",
4 "<|im_end|>",
5 "<|object_ref_start|>",
6 "<|object_ref_end|>",
7 "<|box_start|>",
8 "<|box_end|>",
9 "<|quad_start|>",
10 "<|quad_end|>",
11 "<|vision_start|>",
12 "<|vision_end|>",
13 "<|vision_pad|>",
14 "<|image_pad|>",
15 "<|video_pad|>",
16 "<IMG_CONTEXT>",
17 "<img>",
18 "</img>",
19 "<box>",
20 "</box>",
21 "<quad>",
22 "</quad>",
23 "<ref>",
24 "</ref>",
25 "<interval>",
26 "</interval>",
27 "<text_mask>",
28 "<0>",
29 "<1>",
30 "<2>",
31 "<3>",
32 "<4>",
33 "<5>",
34 "<6>",
35 "<7>",
36 "<8>",
37 "<9>",
38 "<10>",
39 "<11>",
40 "<12>",
41 "<13>",
42 "<14>",
43 "<15>",
44 "<16>",
45 "<17>",
46 "<18>",
47 "<19>",
48 "<20>",
49 "<21>",
50 "<22>",
51 "<23>",
52 "<24>",
53 "<25>",
54 "<26>",
55 "<27>",
56 "<28>",
57 "<29>",
58 "<30>",
59 "<31>",
60 "<32>",
61 "<33>",
62 "<34>",
63 "<35>",
64 "<36>",
65 "<37>",
66 "<38>",
67 "<39>",
68 "<40>",
69 "<41>",
70 "<42>",
71 "<43>",
72 "<44>",
73 "<45>",
74 "<46>",
75 "<47>",
76 "<48>",
77 "<49>",
78 "<50>",
79 "<51>",
80 "<52>",
81 "<53>",
82 "<54>",
83 "<55>",
84 "<56>",
85 "<57>",
86 "<58>",
87 "<59>",
88 "<60>",
89 "<61>",
90 "<62>",
91 "<63>",
92 "<64>",
93 "<65>",
94 "<66>",
95 "<67>",
96 "<68>",
97 "<69>",
98 "<70>",
99 "<71>",
100 "<72>",
101 "<73>",
102 "<74>",
103 "<75>",
104 "<76>",
105 "<77>",
106 "<78>",
107 "<79>",
108 "<80>",
109 "<81>",
110 "<82>",
111 "<83>",
112 "<84>",
113 "<85>",
114 "<86>",
115 "<87>",
116 "<88>",
117 "<89>",
118 "<90>",
119 "<91>",
120 "<92>",
121 "<93>",
122 "<94>",
123 "<95>",
124 "<96>",
125 "<97>",
126 "<98>",
127 "<99>",
128 "<100>",
129 "<101>",
130 "<102>",
131 "<103>",
132 "<104>",
133 "<105>",
134 "<106>",
135 "<107>",
136 "<108>",
137 "<109>",
138 "<110>",
139 "<111>",
140 "<112>",
141 "<113>",
142 "<114>",
143 "<115>",
144 "<116>",
145 "<117>",
146 "<118>",
147 "<119>",
148 "<120>",
149 "<121>",
150 "<122>",
151 "<123>",
152 "<124>",
153 "<125>",
154 "<126>",
155 "<127>",
156 "<128>",
157 "<129>",
158 "<130>",
159 "<131>",
160 "<132>",
161 "<133>",
162 "<134>",
163 "<135>",
164 "<136>",
165 "<137>",
166 "<138>",
167 "<139>",
168 "<140>",
169 "<141>",
170 "<142>",
171 "<143>",
172 "<144>",
173 "<145>",
174 "<146>",
175 "<147>",
176 "<148>",
177 "<149>",
178 "<150>",
179 "<151>",
180 "<152>",
181 "<153>",
182 "<154>",
183 "<155>",
184 "<156>",
185 "<157>",
186 "<158>",
187 "<159>",
188 "<160>",
189 "<161>",
190 "<162>",
191 "<163>",
192 "<164>",
193 "<165>",
194 "<166>",
195 "<167>",
196 "<168>",
197 "<169>",
198 "<170>",
199 "<171>",
200 "<172>",
201 "<173>",
202 "<174>",
203 "<175>",
204 "<176>",
205 "<177>",
206 "<178>",
207 "<179>",
208 "<180>",
209 "<181>",
210 "<182>",
211 "<183>",
212 "<184>",
213 "<185>",
214 "<186>",
215 "<187>",
216 "<188>",
217 "<189>",
218 "<190>",
219 "<191>",
220 "<192>",
221 "<193>",
222 "<194>",
223 "<195>",
224 "<196>",
225 "<197>",
226 "<198>",
227 "<199>",
228 "<200>",
229 "<201>",
230 "<202>",
231 "<203>",
232 "<204>",
233 "<205>",
234 "<206>",
235 "<207>",
236 "<208>",
237 "<209>",
238 "<210>",
239 "<211>",
240 "<212>",
241 "<213>",
242 "<214>",
243 "<215>",
244 "<216>",
245 "<217>",
246 "<218>",
247 "<219>",
248 "<220>",
249 "<221>",
250 "<222>",
251 "<223>",
252 "<224>",
253 "<225>",
254 "<226>",
255 "<227>",
256 "<228>",
257 "<229>",
258 "<230>",
259 "<231>",
260 "<232>",
261 "<233>",
262 "<234>",
263 "<235>",
264 "<236>",
265 "<237>",
266 "<238>",
267 "<239>",
268 "<240>",
269 "<241>",
270 "<242>",
271 "<243>",
272 "<244>",
273 "<245>",
274 "<246>",
275 "<247>",
276 "<248>",
277 "<249>",
278 "<250>",
279 "<251>",
280 "<252>",
281 "<253>",
282 "<254>",
283 "<255>",
284 "<256>",
285 "<257>",
286 "<258>",
287 "<259>",
288 "<260>",
289 "<261>",
290 "<262>",
291 "<263>",
292 "<264>",
293 "<265>",
294 "<266>",
295 "<267>",
296 "<268>",
297 "<269>",
298 "<270>",
299 "<271>",
300 "<272>",
301 "<273>",
302 "<274>",
303 "<275>",
304 "<276>",
305 "<277>",
306 "<278>",
307 "<279>",
308 "<280>",
309 "<281>",
310 "<282>",
311 "<283>",
312 "<284>",
313 "<285>",
314 "<286>",
315 "<287>",
316 "<288>",
317 "<289>",
318 "<290>",
319 "<291>",
320 "<292>",
321 "<293>",
322 "<294>",
323 "<295>",
324 "<296>",
325 "<297>",
326 "<298>",
327 "<299>",
328 "<300>",
329 "<301>",
330 "<302>",
331 "<303>",
332 "<304>",
333 "<305>",
334 "<306>",
335 "<307>",
336 "<308>",
337 "<309>",
338 "<310>",
339 "<311>",
340 "<312>",
341 "<313>",
342 "<314>",
343 "<315>",
344 "<316>",
345 "<317>",
346 "<318>",
347 "<319>",
348 "<320>",
349 "<321>",
350 "<322>",
351 "<323>",
352 "<324>",
353 "<325>",
354 "<326>",
355 "<327>",
356 "<328>",
357 "<329>",
358 "<330>",
359 "<331>",
360 "<332>",
361 "<333>",
362 "<334>",
363 "<335>",
364 "<336>",
365 "<337>",
366 "<338>",
367 "<339>",
368 "<340>",
369 "<341>",
370 "<342>",
371 "<343>",
372 "<344>",
373 "<345>",
374 "<346>",
375 "<347>",
376 "<348>",
377 "<349>",
378 "<350>",
379 "<351>",
380 "<352>",
381 "<353>",
382 "<354>",
383 "<355>",
384 "<356>",
385 "<357>",
386 "<358>",
387 "<359>",
388 "<360>",
389 "<361>",
390 "<362>",
391 "<363>",
392 "<364>",
393 "<365>",
394 "<366>",
395 "<367>",
396 "<368>",
397 "<369>",
398 "<370>",
399 "<371>",
400 "<372>",
401 "<373>",
402 "<374>",
403 "<375>",
404 "<376>",
405 "<377>",
406 "<378>",
407 "<379>",
408 "<380>",
409 "<381>",
410 "<382>",
411 "<383>",
412 "<384>",
413 "<385>",
414 "<386>",
415 "<387>",
416 "<388>",
417 "<389>",
418 "<390>",
419 "<391>",
420 "<392>",
421 "<393>",
422 "<394>",
423 "<395>",
424 "<396>",
425 "<397>",
426 "<398>",
427 "<399>",
428 "<400>",
429 "<401>",
430 "<402>",
431 "<403>",
432 "<404>",
433 "<405>",
434 "<406>",
435 "<407>",
436 "<408>",
437 "<409>",
438 "<410>",
439 "<411>",
440 "<412>",
441 "<413>",
442 "<414>",
443 "<415>",
444 "<416>",
445 "<417>",
446 "<418>",
447 "<419>",
448 "<420>",
449 "<421>",
450 "<422>",
451 "<423>",
452 "<424>",
453 "<425>",
454 "<426>",
455 "<427>",
456 "<428>",
457 "<429>",
458 "<430>",
459 "<431>",
460 "<432>",
461 "<433>",
462 "<434>",
463 "<435>",
464 "<436>",
465 "<437>",
466 "<438>",
467 "<439>",
468 "<440>",
469 "<441>",
470 "<442>",
471 "<443>",
472 "<444>",
473 "<445>",
474 "<446>",
475 "<447>",
476 "<448>",
477 "<449>",
478 "<450>",
479 "<451>",
480 "<452>",
481 "<453>",
482 "<454>",
483 "<455>",
484 "<456>",
485 "<457>",
486 "<458>",
487 "<459>",
488 "<460>",
489 "<461>",
490 "<462>",
491 "<463>",
492 "<464>",
493 "<465>",
494 "<466>",
495 "<467>",
496 "<468>",
497 "<469>",
498 "<470>",
499 "<471>",
500 "<472>",
501 "<473>",
502 "<474>",
503 "<475>",
504 "<476>",
505 "<477>",
506 "<478>",
507 "<479>",
508 "<480>",
509 "<481>",
510 "<482>",
511 "<483>",
512 "<484>",
513 "<485>",
514 "<486>",
515 "<487>",
516 "<488>",
517 "<489>",
518 "<490>",
519 "<491>",
520 "<492>",
521 "<493>",
522 "<494>",
523 "<495>",
524 "<496>",
525 "<497>",
526 "<498>",
527 "<499>",
528 "<500>",
529 "<501>",
530 "<502>",
531 "<503>",
532 "<504>",
533 "<505>",
534 "<506>",
535 "<507>",
536 "<508>",
537 "<509>",
538 "<510>",
539 "<511>",
540 "<512>",
541 "<513>",
542 "<514>",
543 "<515>",
544 "<516>",
545 "<517>",
546 "<518>",
547 "<519>",
548 "<520>",
549 "<521>",
550 "<522>",
551 "<523>",
552 "<524>",
553 "<525>",
554 "<526>",
555 "<527>",
556 "<528>",
557 "<529>",
558 "<530>",
559 "<531>",
560 "<532>",
561 "<533>",
562 "<534>",
563 "<535>",
564 "<536>",
565 "<537>",
566 "<538>",
567 "<539>",
568 "<540>",
569 "<541>",
570 "<542>",
571 "<543>",
572 "<544>",
573 "<545>",
574 "<546>",
575 "<547>",
576 "<548>",
577 "<549>",
578 "<550>",
579 "<551>",
580 "<552>",
581 "<553>",
582 "<554>",
583 "<555>",
584 "<556>",
585 "<557>",
586 "<558>",
587 "<559>",
588 "<560>",
589 "<561>",
590 "<562>",
591 "<563>",
592 "<564>",
593 "<565>",
594 "<566>",
595 "<567>",
596 "<568>",
597 "<569>",
598 "<570>",
599 "<571>",
600 "<572>",
601 "<573>",
602 "<574>",
603 "<575>",
604 "<576>",
605 "<577>",
606 "<578>",
607 "<579>",
608 "<580>",
609 "<581>",
610 "<582>",
611 "<583>",
612 "<584>",
613 "<585>",
614 "<586>",
615 "<587>",
616 "<588>",
617 "<589>",
618 "<590>",
619 "<591>",
620 "<592>",
621 "<593>",
622 "<594>",
623 "<595>",
624 "<596>",
625 "<597>",
626 "<598>",
627 "<599>",
628 "<600>",
629 "<601>",
630 "<602>",
631 "<603>",
632 "<604>",
633 "<605>",
634 "<606>",
635 "<607>",
636 "<608>",
637 "<609>",
638 "<610>",
639 "<611>",
640 "<612>",
641 "<613>",
642 "<614>",
643 "<615>",
644 "<616>",
645 "<617>",
646 "<618>",
647 "<619>",
648 "<620>",
649 "<621>",
650 "<622>",
651 "<623>",
652 "<624>",
653 "<625>",
654 "<626>",
655 "<627>",
656 "<628>",
657 "<629>",
658 "<630>",
659 "<631>",
660 "<632>",
661 "<633>",
662 "<634>",
663 "<635>",
664 "<636>",
665 "<637>",
666 "<638>",
667 "<639>",
668 "<640>",
669 "<641>",
670 "<642>",
671 "<643>",
672 "<644>",
673 "<645>",
674 "<646>",
675 "<647>",
676 "<648>",
677 "<649>",
678 "<650>",
679 "<651>",
680 "<652>",
681 "<653>",
682 "<654>",
683 "<655>",
684 "<656>",
685 "<657>",
686 "<658>",
687 "<659>",
688 "<660>",
689 "<661>",
690 "<662>",
691 "<663>",
692 "<664>",
693 "<665>",
694 "<666>",
695 "<667>",
696 "<668>",
697 "<669>",
698 "<670>",
699 "<671>",
700 "<672>",
701 "<673>",
702 "<674>",
703 "<675>",
704 "<676>",
705 "<677>",
706 "<678>",
707 "<679>",
708 "<680>",
709 "<681>",
710 "<682>",
711 "<683>",
712 "<684>",
713 "<685>",
714 "<686>",
715 "<687>",
716 "<688>",
717 "<689>",
718 "<690>",
719 "<691>",
720 "<692>",
721 "<693>",
722 "<694>",
723 "<695>",
724 "<696>",
725 "<697>",
726 "<698>",
727 "<699>",
728 "<700>",
729 "<701>",
730 "<702>",
731 "<703>",
732 "<704>",
733 "<705>",
734 "<706>",
735 "<707>",
736 "<708>",
737 "<709>",
738 "<710>",
739 "<711>",
740 "<712>",
741 "<713>",
742 "<714>",
743 "<715>",
744 "<716>",
745 "<717>",
746 "<718>",
747 "<719>",
748 "<720>",
749 "<721>",
750 "<722>",
751 "<723>",
752 "<724>",
753 "<725>",
754 "<726>",
755 "<727>",
756 "<728>",
757 "<729>",
758 "<730>",
759 "<731>",
760 "<732>",
761 "<733>",
762 "<734>",
763 "<735>",
764 "<736>",
765 "<737>",
766 "<738>",
767 "<739>",
768 "<740>",
769 "<741>",
770 "<742>",
771 "<743>",
772 "<744>",
773 "<745>",
774 "<746>",
775 "<747>",
776 "<748>",
777 "<749>",
778 "<750>",
779 "<751>",
780 "<752>",
781 "<753>",
782 "<754>",
783 "<755>",
784 "<756>",
785 "<757>",
786 "<758>",
787 "<759>",
788 "<760>",
789 "<761>",
790 "<762>",
791 "<763>",
792 "<764>",
793 "<765>",
794 "<766>",
795 "<767>",
796 "<768>",
797 "<769>",
798 "<770>",
799 "<771>",
800 "<772>",
801 "<773>",
802 "<774>",
803 "<775>",
804 "<776>",
805 "<777>",
806 "<778>",
807 "<779>",
808 "<780>",
809 "<781>",
810 "<782>",
811 "<783>",
812 "<784>",
813 "<785>",
814 "<786>",
815 "<787>",
816 "<788>",
817 "<789>",
818 "<790>",
819 "<791>",
820 "<792>",
821 "<793>",
822 "<794>",
823 "<795>",
824 "<796>",
825 "<797>",
826 "<798>",
827 "<799>",
828 "<800>",
829 "<801>",
830 "<802>",
831 "<803>",
832 "<804>",
833 "<805>",
834 "<806>",
835 "<807>",
836 "<808>",
837 "<809>",
838 "<810>",
839 "<811>",
840 "<812>",
841 "<813>",
842 "<814>",
843 "<815>",
844 "<816>",
845 "<817>",
846 "<818>",
847 "<819>",
848 "<820>",
849 "<821>",
850 "<822>",
851 "<823>",
852 "<824>",
853 "<825>",
854 "<826>",
855 "<827>",
856 "<828>",
857 "<829>",
858 "<830>",
859 "<831>",
860 "<832>",
861 "<833>",
862 "<834>",
863 "<835>",
864 "<836>",
865 "<837>",
866 "<838>",
867 "<839>",
868 "<840>",
869 "<841>",
870 "<842>",
871 "<843>",
872 "<844>",
873 "<845>",
874 "<846>",
875 "<847>",
876 "<848>",
877 "<849>",
878 "<850>",
879 "<851>",
880 "<852>",
881 "<853>",
882 "<854>",
883 "<855>",
884 "<856>",
885 "<857>",
886 "<858>",
887 "<859>",
888 "<860>",
889 "<861>",
890 "<862>",
891 "<863>",
892 "<864>",
893 "<865>",
894 "<866>",
895 "<867>",
896 "<868>",
897 "<869>",
898 "<870>",
899 "<871>",
900 "<872>",
901 "<873>",
902 "<874>",
903 "<875>",
904 "<876>",
905 "<877>",
906 "<878>",
907 "<879>",
908 "<880>",
909 "<881>",
910 "<882>",
911 "<883>",
912 "<884>",
913 "<885>",
914 "<886>",
915 "<887>",
916 "<888>",
917 "<889>",
918 "<890>",
919 "<891>",
920 "<892>",
921 "<893>",
922 "<894>",
923 "<895>",
924 "<896>",
925 "<897>",
926 "<898>",
927 "<899>",
928 "<900>",
929 "<901>",
930 "<902>",
931 "<903>",
932 "<904>",
933 "<905>",
934 "<906>",
935 "<907>",
936 "<908>",
937 "<909>",
938 "<910>",
939 "<911>",
940 "<912>",
941 "<913>",
942 "<914>",
943 "<915>",
944 "<916>",
945 "<917>",
946 "<918>",
947 "<919>",
948 "<920>",
949 "<921>",
950 "<922>",
951 "<923>",
952 "<924>",
953 "<925>",
954 "<926>",
955 "<927>",
956 "<928>",
957 "<929>",
958 "<930>",
959 "<931>",
960 "<932>",
961 "<933>",
962 "<934>",
963 "<935>",
964 "<936>",
965 "<937>",
966 "<938>",
967 "<939>",
968 "<940>",
969 "<941>",
970 "<942>",
971 "<943>",
972 "<944>",
973 "<945>",
974 "<946>",
975 "<947>",
976 "<948>",
977 "<949>",
978 "<950>",
979 "<951>",
980 "<952>",
981 "<953>",
982 "<954>",
983 "<955>",
984 "<956>",
985 "<957>",
986 "<958>",
987 "<959>",
988 "<960>",
989 "<961>",
990 "<962>",
991 "<963>",
992 "<964>",
993 "<965>",
994 "<966>",
995 "<967>",
996 "<968>",
997 "<969>",
998 "<970>",
999 "<971>",
1000 "<972>",
1001 "<973>",
1002 "<974>",
1003 "<975>",
1004 "<976>",
1005 "<977>",
1006 "<978>",
1007 "<979>",
1008 "<980>",
1009 "<981>",
1010 "<982>",
1011 "<983>",
1012 "<984>",
1013 "<985>",
1014 "<986>",
1015 "<987>",
1016 "<988>",
1017 "<989>",
1018 "<990>",
1019 "<991>",
1020 "<992>",
1021 "<993>",
1022 "<994>",
1023 "<995>",
1024 "<996>",
1025 "<997>",
1026 "<998>",
1027 "<999>",
1028 "<1000>",
1029 "<null>",
1030 "<switch>",
1031 {
1032 "content": "</c>",
1033 "lstrip": false,
1034 "normalized": false,
1035 "rstrip": false,
1036 "single_word": false
1037 }
1038 ],
1039 "eos_token": {
1040 "content": "<|im_end|>",
1041 "lstrip": false,
1042 "normalized": false,
1043 "rstrip": false,
1044 "single_word": false
1045 },
1046 "pad_token": {
1047 "content": "<|endoftext|>",
1048 "lstrip": false,
1049 "normalized": false,
1050 "rstrip": false,
1051 "single_word": false
1052 }
1053 }
1054