nllb1.3-smugri4-v0.01 / added_tokens.json
mphi's picture
Upload 8 files
02fd804 verified
{
"!»": 256547,
".\"": 256292,
".»;": 256644,
"Name": 256602,
"fkv_Latn": 256209,
"hke": 256486,
"iguin": 256592,
"izh_Latn": 256222,
"iä": 256730,
"kca_Cyrl": 256223,
"koi_Cyrl": 256216,
"kpv_Cyrl": 256228,
"krl_Latn": 256212,
"kse": 256396,
"laččat": 256694,
"liv_Latn": 256208,
"lud_Latn": 256214,
"lõ": 256670,
"mdf_Cyrl": 256221,
"mhr_Cyrl": 256219,
"mns_Cyrl": 256229,
"mrj_Cyrl": 256220,
"myv_Cyrl": 256207,
"nor_Unk": 256227,
"nsa": 256536,
"olo_Latn": 256205,
"sjd_Cyrl": 256206,
"sje_Latn": 256225,
"sju_Latn": 256215,
"sma_Latn": 256217,
"sme_Latn": 256226,
"smj_Latn": 256230,
"smn_Latn": 256211,
"sms_Latn": 256210,
"ttih": 256430,
"tto": 256466,
"udm_Cyrl": 256218,
"vep_Latn": 256204,
"vot_Latn": 256213,
"vro_Latn": 256224,
"vuođa": 256589,
"vva": 256722,
"»": 256237,
"»,": 256306,
"».": 256285,
"»;": 256494,
"šša": 256600,
"Инмар": 256382,
"Коми": 256340,
"Об": 256664,
"авны": 256483,
"ает": 256457,
"аліс": 256661,
"алӧм": 256572,
"ами": 256256,
"ась": 256330,
"ать": 256343,
"ая": 256259,
"аяс": 256517,
"аҥ": 256671,
"влак": 256269,
"влакым": 256440,
"влакын": 256451,
"водзӧ": 256538,
"выл": 256692,
"государственного": 256509,
"джык": 256362,
"дӓ": 256551,
"ель": 256541,
"ец": 256363,
"еч": 256579,
"жӹ": 256680,
"зэ": 256302,
"ив": 256493,
"ие": 256283,
"ий": 256280,
"ик": 256442,
"ила": 256553,
"илась": 256489,
"ились": 256399,
"ился": 256350,
"иль": 256474,
"ист": 256445,
"ись": 256289,
"итель": 256530,
"ится": 256463,
"ить": 256257,
"иться": 256400,
"ич": 256516,
"ическӧй": 256676,
"ишь": 256689,
"ию": 256391,
"ия": 256263,
"йӧ": 256653,
"каяс": 256735,
"кӧ": 256358,
"кӧд": 256258,
"кӧт": 256662,
"лань": 256435,
"лыны": 256654,
"лысь": 256248,
"лэсь": 256296,
"лісны": 256375,
"лӧ": 256304,
"лӧм": 256582,
"лӧн": 256240,
"мӧ": 256706,
"мӧд": 256593,
"нть": 256673,
"нӧ": 256707,
"нӧй": 256252,
"нӧя": 256565,
"овой": 256577,
"ое": 256338,
"ож": 256675,
"онь": 256299,
"ости": 256528,
"ость": 256542,
"ось": 256415,
"республиканского": 256535,
"скӧй": 256328,
"сьыс": 256370,
"сьӧ": 256470,
"сьӧм": 256533,
"сэ": 256333,
"сянь": 256270,
"сӧ": 256234,
"тнень": 256433,
"тэм": 256421,
"тіс": 256607,
"тӥз": 256717,
"тӧ": 256286,
"тӧг": 256353,
"тӧм": 256301,
"уж": 256651,
"ую": 256293,
"шамыч": 256558,
"ъяс": 256241,
"ъяслӧн": 256448,
"ъяссӧ": 256432,
"ъясыс": 256554,
"ъясӧн": 256462,
"ъясӧс": 256650,
"ъёс": 256431,
"ыд": 256267,
"ые": 256277,
"ыж": 256612,
"ыже": 256472,
"ык": 256425,
"ымаш": 256638,
"ыми": 256390,
"ыны": 256540,
"ыс": 256236,
"ыса": 256634,
"ысь": 256239,
"ыт": 256265,
"ых": 256273,
"ыч": 256468,
"ыш": 256254,
"ышт": 256307,
"ыште": 256329,
"ышто": 256639,
"ыштым": 256646,
"ыштіс": 256471,
"эз": 256354,
"яслӧн": 256604,
"яссӧ": 256709,
"ясӧн": 256690,
"ёс": 256623,
"існы": 256683,
"ҥ": 256693,
"ӈ": 256635,
"ӓ": 256571,
"ӓт": 256586,
"ӧ": 256233,
"ӧвӧй": 256478,
"ӧд": 256290,
"ӧдз": 256369,
"ӧй": 256247,
"ӧм": 256278,
"ӧма": 256480,
"ӧмӧн": 256481,
"ӧн": 256235,
"ӧны": 256345,
"ӧр": 256681,
"ӧс": 256245,
"ӧсь": 256326,
"ӱ": 256452,
"ӹ": 256487,
"ӹм": 256531,
"ӹн": 256492,
"ԓ": 256434,
"–": 256597,
"’": 256249,
"▁Iisus": 256534,
"▁Sametinget": 256314,
"▁Sametingets": 256677,
"▁Sámediggi": 256374,
"▁Sámedikki": 256413,
"▁Sámi": 256412,
"▁___": 256702,
"▁ahte": 256255,
"▁birra": 256388,
"▁dahje": 256548,
"▁eai": 256631,
"▁eará": 256423,
"▁galgá": 256411,
"▁giella": 256501,
"▁jïh": 256316,
"▁maiddái": 256522,
"▁mielde": 256459,
"▁miše": 256721,
"▁monda": 256708,
"▁ođđa": 256669,
"▁saemien": 256626,
"▁samisk": 256321,
"▁samiske": 256311,
"▁sáhttá": 256469,
"▁sámegiela": 256605,
"▁sámi": 256268,
"▁vuo": 256491,
"▁«": 256232,
"▁«»": 256379,
"▁Андрей": 256497,
"▁Веськӧдлан": 256309,
"▁Главы": 256555,
"▁Иван": 256436,
"▁Инмар": 256562,
"▁Костя": 256615,
"▁Кузё": 256305,
"▁Марий": 256308,
"▁Министерство": 256508,
"▁Найӧ": 256595,
"▁Оланпас": 256734,
"▁Республикалӧн": 256710,
"▁Республикаса": 256242,
"▁Республикаын": 256349,
"▁Республике": 256348,
"▁Республикын": 256624,
"▁Российской": 256274,
"▁Рочму": 256418,
"▁Сергей": 256699,
"▁Сійӧ": 256266,
"▁Тайӧ": 256315,
"▁Тиде": 256674,
"▁Тон": 256526,
"▁Тудо": 256500,
"▁Тэ": 256437,
"▁Федерации": 256276,
"▁Федерацияса": 256291,
"▁абу": 256275,
"▁асвеськӧдлан": 256616,
"▁аслас": 256389,
"▁ассьыс": 256588,
"▁ачыс": 256696,
"▁берег": 256695,
"▁бура": 256561,
"▁быд": 256339,
"▁быттьӧ": 256488,
"▁бӧр": 256394,
"▁бӧрся": 256403,
"▁бӧрын": 256295,
"▁вал": 256282,
"▁вань": 256408,
"▁вара": 256441,
"▁вдруг": 256684,
"▁вежны": 256502,
"▁вежсьӧмъяс": 256546,
"▁веле": 256485,
"▁велӧдан": 256614,
"▁вермы": 256484,
"▁весиг": 256511,
"▁вет": 256357,
"▁видз": 256479,
"▁видзан": 256529,
"▁видзӧдліс": 256687,
"▁видзӧм": 256603,
"▁висьталіс": 256477,
"▁власьт": 256428,
"▁водзын": 256652,
"▁водзӧ": 256449,
"▁вося": 256537,
"▁вывті": 256737,
"▁вылас": 256347,
"▁вылын": 256261,
"▁вылысь": 256620,
"▁выль": 256405,
"▁вылэ": 256659,
"▁вылӧ": 256238,
"▁вӧв": 256467,
"▁вӧлі": 256250,
"▁вӧліны": 256647,
"▁вӧр": 256364,
"▁вӧсна": 256324,
"▁вӧчны": 256625,
"▁вӧчӧм": 256601,
"▁годым": 256427,
"▁гын": 256359,
"▁гыч": 256288,
"▁гӧгӧрво": 256715,
"▁гӹц": 256584,
"▁дас": 256519,
"▁двор": 256629,
"▁дед": 256697,
"▁деке": 256658,
"▁деч": 256294,
"▁дзик": 256518,
"▁документъяс": 256598,
"▁доры": 256606,
"▁дорын": 256610,
"▁дорӧ": 256300,
"▁дыр": 256453,
"▁дырйи": 256450,
"▁дінӧ": 256404,
"▁дӓ": 256365,
"▁ещӧ": 256506,
"▁еҥ": 256454,
"▁жап": 256691,
"▁жӧ": 256272,
"▁законодательств": 256426,
"▁заменить": 256503,
"▁збыльмӧдӧм": 256495,
"▁зэв": 256322,
"▁индӧм": 256342,
"▁инӧда": 256716,
"▁исполнительной": 256627,
"▁йылысь": 256244,
"▁йӧз": 256371,
"▁йӧзӧс": 256678,
"▁йӱк": 256649,
"▁калык": 256406,
"▁канму": 256260,
"▁кежлӧ": 256566,
"▁керка": 256636,
"▁керт": 256583,
"▁кече": 256672,
"▁кид": 256633,
"▁кода": 256575,
"▁кодъяс": 256319,
"▁кодь": 256507,
"▁коді": 256297,
"▁кодӧс": 256523,
"▁кок": 256360,
"▁колхоз": 256645,
"▁колӧ": 256317,
"▁котыр": 256573,
"▁котырлӧн": 256372,
"▁кугу": 256666,
"▁куд": 256617,
"▁кузя": 256281,
"▁куим": 256682,
"▁кут": 256556,
"▁кутшӧм": 256393,
"▁кутшӧмъяс": 256611,
"▁кутшӧмъясӧс": 256513,
"▁кутіс": 256460,
"▁куш": 256703,
"▁кыв": 256366,
"▁кывъяс": 256373,
"▁кывъясӧн": 256733,
"▁кыдз": 256725,
"▁кыдзи": 256287,
"▁кык": 256346,
"▁кӧ": 256262,
"▁кӧні": 256407,
"▁кӧть": 256618,
"▁кӱ": 256567,
"▁лангс": 256700,
"▁лес": 256660,
"▁либӧ": 256284,
"▁лиеш": 256552,
"▁лий": 256539,
"▁лийын": 256475,
"▁лов": 256688,
"▁лои": 256510,
"▁лоны": 256613,
"▁лоӧ": 256384,
"▁лун": 256323,
"▁лунся": 256327,
"▁лунсянь": 256563,
"▁лыд": 256728,
"▁лыдын": 256596,
"▁лёк": 256686,
"▁мам": 256504,
"▁манын": 256392,
"▁медым": 256337,
"▁менам": 256424,
"▁меным": 256386,
"▁менӧ": 256496,
"▁меставывса": 256420,
"▁местного": 256476,
"▁миян": 256352,
"▁могмӧдан": 256724,
"▁могмӧдӧм": 256499,
"▁могъяс": 256723,
"▁могысь": 256438,
"▁морт": 256341,
"▁музъем": 256590,
"▁мукӧд": 256325,
"▁муниципального": 256698,
"▁муниципальных": 256515,
"▁муниципальнӧй": 256335,
"▁муніс": 256549,
"▁мурт": 256667,
"▁мутасын": 256550,
"▁мыйкӧ": 256599,
"▁мӧд": 256344,
"▁найӧ": 256320,
"▁найӧс": 256368,
"▁налы": 256655,
"▁налӧн": 256630,
"▁нерген": 256387,
"▁нинӧм": 256443,
"▁нош": 256473,
"▁нуӧдӧм": 256591,
"▁нӧ": 256381,
"▁объектъяс": 256720,
"▁овмӧс": 256419,
"▁огыл": 256313,
"▁олан": 256444,
"▁оланін": 256464,
"▁олӧм": 256570,
"▁олӧмӧ": 256336,
"▁опять": 256608,
"▁отсӧг": 256429,
"▁пал": 256578,
"▁паныд": 256580,
"▁паша": 256543,
"▁понна": 256422,
"▁почеш": 256711,
"▁предоставления": 256732,
"▁пункте": 256641,
"▁пунктын": 256637,
"▁пыр": 256253,
"▁пыртӧм": 256455,
"▁пӧ": 256446,
"▁пӧрадок": 256458,
"▁пӧрт": 256557,
"▁пӧртысь": 256568,
"▁республиканскӧй": 256383,
"▁рӧскод": 256622,
"▁самоуправления": 256559,
"▁семын": 256668,
"▁сет": 256727,
"▁сетан": 256380,
"▁сетӧм": 256332,
"▁синь": 256701,
"▁содтӧд": 256410,
"▁сое": 256521,
"▁соос": 256447,
"▁социальнӧй": 256544,
"▁спросил": 256621,
"▁ставсӧ": 256731,
"▁ставыс": 256665,
"▁старик": 256719,
"▁сылы": 256310,
"▁сылысь": 256574,
"▁сылӧн": 256312,
"▁сьӧкыд": 256685,
"▁сьӧлӧм": 256581,
"▁сьӧм": 256334,
"▁сьӧмкуд": 256385,
"▁сэк": 256679,
"▁сэки": 256705,
"▁сэні": 256560,
"▁сэсся": 256456,
"▁сэтшӧм": 256351,
"▁сюрс": 256545,
"▁сідз": 256738,
"▁сідзжӧ": 256416,
"▁сійӧ": 256243,
"▁сійӧс": 256264,
"▁сӧмын": 256318,
"▁тадзи": 256594,
"▁тайӧ": 256251,
"▁тані": 256663,
"▁татшӧм": 256331,
"▁тиде": 256397,
"▁толын": 256642,
"▁торъя": 256355,
"▁тудо": 256356,
"▁тудым": 256527,
"▁тудын": 256498,
"▁тшӧт": 256729,
"▁тый": 256643,
"▁тыр": 256377,
"▁тэныд": 256712,
"▁тіян": 256512,
"▁тіянлы": 256704,
"▁тӥ": 256619,
"▁тӧд": 256395,
"▁тӧлысь": 256279,
"▁удж": 256298,
"▁уджалан": 256505,
"▁уджтас": 256628,
"▁уке": 256524,
"▁уло": 256461,
"▁урчитӧм": 256402,
"▁условиеяс": 256713,
"▁услугаяс": 256714,
"▁уш": 256585,
"▁федеральнӧй": 256532,
"▁челядь": 256564,
"▁чыла": 256465,
"▁чӧв": 256736,
"▁шайт": 256657,
"▁шке": 256361,
"▁шог": 256640,
"▁шотышто": 256718,
"▁шуиз": 256414,
"▁шуис": 256271,
"▁шуыса": 256576,
"▁шуӧм": 256569,
"▁шӧр": 256490,
"▁ыджыд": 256367,
"▁ыле": 256398,
"▁ыш": 256632,
"▁эг": 256656,
"▁эмбур": 256587,
"▁эсь": 256609,
"▁эськӧ": 256376,
"▁юаліс": 256514,
"▁юкӧн": 256520,
"▁юкӧнын": 256401,
"▁юр": 256417,
"▁юӧр": 256525,
"▁язык": 256726,
"▁ёна": 256409,
"▁ӧд": 256439,
"▁ӧз": 256648,
"▁ӧні": 256378,
"▁ӧти": 256303,
"▁ӧтувъя": 256482,
"▁–": 256246,
"▁—": 256231
}