nb-wav2vec2-1b-nynorsk/README.old.md

license, tags, model-index

license	tags	model-index
apache-2.0	automatic-speech-recognition NbAiLab/NPSC generated_from_trainer	name results XLSR-1B-nynorsk-low task dataset metrics name type Automatic Speech Recognition automatic-speech-recognition name type args NPSC NbAiLab/NPSC 16K_mp3_nynorsk name type value Test (Nynorsk) WER wer 0.11319692134409612 name type value Test (Nynorsk) CER cer 0.040263696587740365

XLSR-1B-nynorsk-low

This model is a fine-tuned version of facebook/wav2vec2-xls-r-1b on the NBAILAB/NPSC - 16K_MP3_NYNORSK dataset. It achieves the following results on the evaluation set:

• Loss: 0.2909
• Wer: 0.1364

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 24
• eval_batch_size: 24
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 60.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
2.8979	1.0	500	2.9413	1.0
1.2224	2.0	1000	1.0359	0.7802
0.8643	3.01	1500	0.7746	0.5969
0.8211	4.01	2000	0.4882	0.3710
0.5287	5.01	2500	0.4060	0.3085
0.4724	6.01	3000	0.3297	0.2517
0.4357	7.01	3500	0.3106	0.2342
0.376	8.02	4000	0.2776	0.2072
0.3286	9.02	4500	0.2888	0.2032
0.3731	10.02	5000	0.2691	0.1835
0.306	11.02	5500	0.2536	0.1835
0.3025	12.02	6000	0.2758	0.1809
0.3413	13.03	6500	0.2791	0.1823
0.2601	14.03	7000	0.2912	0.1759
0.2332	15.03	7500	0.2582	0.1694
0.2108	16.03	8000	0.2717	0.1660
0.2122	17.03	8500	0.2848	0.1647
0.2369	18.04	9000	0.2548	0.1646
0.1906	19.04	9500	0.2667	0.1627
0.1943	20.04	10000	0.2662	0.1623
0.18	21.04	10500	0.2769	0.1561
0.1654	22.04	11000	0.2661	0.1558
0.1515	23.05	11500	0.2870	0.1597
0.147	24.05	12000	0.2778	0.1551
0.1622	25.05	12500	0.2753	0.1541
0.1522	26.05	13000	0.2932	0.1521
0.1522	27.05	13500	0.2548	0.1513
0.1319	28.06	14000	0.2811	0.1532
0.1261	29.06	14500	0.2786	0.1521
0.1391	30.06	15000	0.2651	0.1461
0.1486	31.06	15500	0.2866	0.1494
0.1121	32.06	16000	0.2641	0.1478
0.1114	33.07	16500	0.2910	0.1478
0.101	34.07	17000	0.2884	0.1443
0.1135	35.07	17500	0.3029	0.1469
0.0972	36.07	18000	0.2870	0.1467
0.1178	37.07	18500	0.2745	0.1450
0.0885	38.08	19000	0.2836	0.1440
0.1144	39.08	19500	0.2761	0.1446
0.0997	40.08	20000	0.2806	0.1439
0.1012	41.08	20500	0.2878	0.1413
0.0902	42.08	21000	0.2832	0.1452
0.0804	43.09	21500	0.2911	0.1458
0.0762	44.09	22000	0.2708	0.1441
0.0758	45.09	22500	0.2804	0.1434
0.0874	46.09	23000	0.2831	0.1407
0.0895	47.09	23500	0.2913	0.1396
0.0975	48.1	24000	0.2956	0.1411
0.0758	49.1	24500	0.2920	0.1385
0.0704	50.1	25000	0.2788	0.1383
0.0707	51.1	25500	0.2822	0.1388
0.0664	52.1	26000	0.2876	0.1371
0.0692	53.11	26500	0.2815	0.1377
0.0799	54.11	27000	0.2806	0.1363
0.0611	55.11	27500	0.2878	0.1363
0.0759	56.11	28000	0.2900	0.1365
0.0801	57.11	28500	0.2881	0.1375
0.0644	58.12	29000	0.2898	0.1362
0.068	59.12	29500	0.2913	0.1369

Framework versions

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu113
• Datasets 2.0.0
• Tokenizers 0.11.0